Espace de Hilbert à noyau reproduisant

En analyse fonctionnelle , un espace de Hilbert à noyau reproduisant ( EKR ) est un espace de Hilbert de fonctions dont l'évaluation ponctuelle est une fonctionnelle linéaire continue . Plus précisément, un espace de Hilbert de fonctions d'un ensemble (vers ou ) est un EKR si la fonctionnelle d'évaluation ponctuelle , , est continue pour tout . De manière équivalente, est un EKR s'il existe une fonction telle que, pour tout , . Cette fonction est alors appelée le noyau reproduisant , et elle reproduit la valeur de par le produit scalaire .

Une conséquence immédiate de cette propriété est que la convergence en norme implique la convergence uniforme sur tout sous-ensemble de sur lequel est borné. Cependant, la réciproque n'est pas nécessairement vraie. Souvent, l'ensemble est muni d'une topologie et dépend continûment de , auquel cas : la convergence en norme implique la convergence uniforme sur les sous-ensembles compacts de .

Il n'est pas toujours simple de construire de manière non triviale des exemples naturels d'espaces de Hilbert qui ne soient pas des espaces de Hilbert à somme nulle (RKHS). Quelques exemples ont cependant été trouvés.

Formellement, les espaces L² sont définis comme des espaces de Hilbert de classe d'équivalence ^.Pour les fonctions, cette définition peut être trivialement étendue à un espace de Hilbert de fonctions en choisissant une fonction (totale) comme représentante pour chaque classe d'équivalence. Cependant, aucun choix de représentant ne peut faire de cet espace un espace de Hilbert à rayon constant (RKHS) ( ^il faudrait que soit la fonction delta de Dirac, qui n'existe pas). Il existe néanmoins des RKHS dont la norme est une norme L² , comme l'espace des fonctions à bande limitée (voir l'exemple ci-dessous).

Un espace RKHS est associé à un noyau qui reproduit toute fonction de l'espace, au sens où, pour tout ε appartenant à l'ensemble sur lequel les fonctions sont définies, l'« évaluation en ε » peut être effectuée en prenant un produit scalaire avec une fonction déterminée par le noyau. Un tel noyau reproduisant existe si et seulement si toute fonctionnelle d'évaluation est continue.

Le noyau reproduisant a été introduit pour la première fois en 1907 par Stanisław Zaremba dans le cadre des problèmes aux limites pour les fonctions harmoniques et biharmoniques . Simultanément, James Mercer a étudié les fonctions satisfaisant la propriété de reproduction dans la théorie des équations intégrales . L'idée du noyau reproduisant est restée inexploitée pendant près de vingt ans, jusqu'à son apparition dans les thèses de Gábor Szegő , Stefan Bergman et Salomon Bochner . Le sujet a finalement été développé de manière systématique au début des années 1950 par Nachman Aronszajn et Stefan Bergman .

Ces espaces ont de nombreuses applications, notamment en analyse complexe , en analyse harmonique et en mécanique quantique . Les espaces de Hilbert à noyau reproduisant sont particulièrement importants en théorie de l'apprentissage statistique grâce au célèbre théorème du représentant. Ce théorème stipule que toute fonction d'un espace de Hilbert à noyau reproduisant minimisant une fonctionnelle de risque empirique peut s'écrire comme une combinaison linéaire de la fonction noyau évaluée aux points d'apprentissage. Ce résultat est très utile en pratique car il simplifie efficacement le problème de minimisation du risque empirique, le faisant passer d'un problème d'optimisation de dimension infinie à un problème d'optimisation de dimension finie.

Pour faciliter la compréhension, nous présentons le cadre des espaces de Hilbert à valeurs réelles. La théorie peut être facilement étendue aux espaces de fonctions à valeurs complexes et inclut ainsi de nombreux exemples importants d'espaces de Hilbert à noyau reproduisant qui sont des espaces de fonctions analytiques .

The simplest example of a reproducing kernel Hilbert space is the space where is a set and is the counting measure on . For , the reproducing kernel is the indicator function of the one point set .

Nontrivial reproducing kernel Hilbert spaces often involve analytic functions, as we now illustrate by example. Consider the Hilbert space of bandlimitedcontinuous functions. Fix some cutoff frequency and define the Hilbert space

where is the set of square integrable functions, and is the Fourier transform of . As the inner product, we use

Puisque cet espace est un sous-espace fermé de , il s'agit d'un espace de Hilbert. De plus, les éléments de sont des fonctions lisses sur qui tendent vers zéro à l'infini, essentiellement d'après le lemme de Riemann-Lebesgue . En fait, les éléments de sont les restrictions à de fonctions holomorphes entières , d'après le théorème de Paley-Wiener .

D'après le théorème d'inversion de Fourier , nous avons

Il s'ensuit alors, d'après l' inégalité de Cauchy-Schwarz et le théorème de Plancherel , que, pour tout ,

Cette inégalité montre que la fonctionnelle d'évaluation est bornée, prouvant qu'il s'agit bien d'un RKHS.

La fonction noyau dans ce cas est donnée par

La transformée de Fourier de définie ci-dessus est donnée par

ce qui découle de la propriété de décalage temporel de la transformée de Fourier . Par conséquent, en utilisant le théorème de Plancherel , nous avons

On obtient ainsi la propriété de reproduction du noyau.

dans ce cas, il s'agit de la « version à bande limitée » de la fonction delta de Dirac , et celle-ci converge vers au sens faible lorsque la fréquence de coupure tend vers l'infini.

Nous avons vu comment un espace de Hilbert à noyau reproduisant définit une fonction à noyau reproduisant symétrique et définie positive . Le théorème de Moore-Aronszajn établit la relation inverse : tout noyau symétrique et défini positif définit un unique espace de Hilbert à noyau reproduisant. Ce théorème est apparu pour la première fois dans l’ouvrage d’Aronszajn intitulé « Theory of Reproducing Kernels » , bien qu’il l’attribue à E. H. Moore .

Théorème . Soit K un noyau symétrique défini positif sur un ensemble X. Alors il existe un unique espace de Hilbert de fonctions sur X pour lequel K est un noyau reproduisant.

Démonstration . Pour tout x ∈ X , on définit K _{_x} = K ( x , ⋅). Soit H _₀ l' espace vectoriel engendré par { K _{_x} : x ∈ X }. On définit un produit scalaire sur H_₀ par

ce qui implique que la symétrie de ce produit scalaire découle de la symétrie de K et la non-dégénérescence découle du fait que K est définie positive.

Soit H le complété de H₀ par rapport à ce produit scalaire. Alors H _est constitué de fonctions de la forme

Nous pouvons maintenant vérifier la propriété de reproduction ( 2 ) :

Pour démontrer l'unicité, soit G un autre espace de Hilbert de fonctions pour lequel K est un noyau reproduisant. Pour tous x et y dans X , ( 2 ) implique que

Par linéarité, sur l'espace engendré par . Alors, puisque G est complet et contient H ₀ et contient donc son complétion.

Il nous faut maintenant prouver que tout élément de G appartient à H. Soit un élément de G. Puisque H est un sous-espace fermé de G , on peut écrire où et . Or, si , alors, puisque K est un noyau reproduisant de G et H :

Nous avons utilisé le fait que appartient à H de sorte que son produit scalaire avec dans G est nul. Ceci montre que dans G et conclut la démonstration.

On peut caractériser un noyau symétrique défini positif via l'opérateur intégral en utilisant le théorème de Mercer et obtenir ainsi une perspective supplémentaire sur le RKHS. Soit un espace compact muni d'une mesure de Borel strictement positive et finie et d'une fonction continue, symétrique et définie positive. Définissons l'opérateur intégral comme

où est l'espace des fonctions de carré intégrable par rapport à .

Le théorème de Mercer stipule que la décomposition spectrale de l'opérateur intégral de conduit à une représentation en série de ce dernier en fonction de ses valeurs propres et fonctions propres . Il en résulte que ce noyau est reproduisant, de sorte que la matrice RKHS correspondante peut être définie à partir de ces valeurs propres et fonctions propres. Les détails sont fournis ci-dessous.

Sous ces hypothèses, est un opérateur compact, continu, auto-adjoint et positif . Le théorème spectral pour les opérateurs auto-adjoints implique l'existence d'une suite décroissante au plus dénombrable telle que et , où les forment une base orthonormée de . La positivité de pour tout est également démontrée. On peut montrer que applique continûment dans l'espace des fonctions continues et, par conséquent, on peut choisir des fonctions continues comme vecteurs propres, c'est-à-dire, pour tout . Alors, d'après le théorème de Mercer, peut s'écrire en fonction des valeurs propres et des fonctions propres continues comme suit : 0" $0T_K,{\sigma }_i>0$0

pour tous ceux qui

Cette représentation en série ci-dessus est appelée noyau de Mercer ou représentation de Mercer de .

De plus, on peut démontrer que le RKHS de est donné par

où le produit scalaire de donné par

Cette représentation du RKHS a des applications en probabilités et en statistiques, par exemple dans la représentation de Karhunen-Loève pour les processus stochastiques et l'ACP à noyau .

Une application de caractéristiques est une application , où est un espace de Hilbert que nous appellerons l'espace des caractéristiques. Les premières sections ont présenté le lien entre les fonctions d'évaluation bornées/continues, les fonctions définies positives et les opérateurs intégraux ; dans cette section, nous proposons une autre représentation du RKHS en termes d'applications de caractéristiques.

Chaque carte de fonctionnalités définit un noyau via

Propriétés utiles des RKHS :

• Soit une suite d'ensembles et soit une collection de fonctions définies positives correspondantes sur . Il s'ensuit que

  est un noyau sur

• Soit alors la restriction de à un noyau reproduisant.
• Considérons un noyau normalisé tel que pour tout . Définissons une pseudo-métrique sur X comme

  D'après l'inégalité de Cauchy-Schwarz ,

  Cette inégalité nous permet de considérer comme une mesure de similarité entre les entrées. Si les entrées sont similaires, alors sera plus proche de 1, tandis que si elles sont dissemblables, alors sera plus proche de 0.

• La fermeture de l'étendue de coïncide avec .

Dans cette section, nous étendons la définition de l'espace de Hilbert à noyaux RKHS aux espaces de fonctions vectorielles, cette extension étant particulièrement importante pour l'apprentissage multi-tâches et la régularisation de variétés . La principale différence réside dans le fait que le noyau reproduisant est une fonction symétrique qui est désormais une matrice semi-définie positive pour tout . Plus formellement, nous définissons un espace de Hilbert à noyaux RKHS vectoriels (vvRKHS) comme un espace de Hilbert de fonctions tel que pour tout et

et

Cette seconde propriété est analogue à la propriété de reproduction dans le cas scalaire. Cette définition peut également être reliée aux opérateurs intégraux, aux fonctions d'évaluation bornées et aux applications de caractéristiques, comme nous l'avons vu pour l'espace de Hilbert à valeurs scalaires de type RKHS. On peut définir de manière équivalente l'espace de Hilbert à valeurs vectorielles de type vvRKHS comme un espace de Hilbert à valeurs vectorielles muni d'une fonctionnelle d'évaluation bornée et montrer que cela implique l'existence d'un noyau reproduisant unique grâce au théorème de représentation de Riesz. Le théorème de Mercer peut également être étendu au cadre vectoriel, ce qui nous permet d'obtenir une représentation de l'espace de Hilbert à valeurs vectorielles de type vvRKHS sous forme d'application de caractéristiques. Enfin, on peut également montrer que l'adhérence de l'espace engendré par cet espace coïncide avec l'espace engendré par ...

On peut mieux appréhender les vvRKHS en considérant ces espaces composante par composante. En particulier, on constate que chaque vvRKHS est isométriquement isomorphe à un RKHS à valeurs scalaires sur un espace d'entrée donné. Soit . Considérons l'espace et le noyau reproduisant correspondant

La fonction ReLU , définie comme suit , est un élément fondamental de l'architecture des réseaux de neurones où elle est utilisée comme fonction d'activation. On peut construire une fonction non linéaire de type ReLU à l'aide de la théorie des espaces de Hilbert à noyau reproduisant. Nous présentons ci-dessous cette construction et montrons comment elle met en évidence la capacité de représentation des réseaux de neurones avec activation ReLU.

Nous travaillerons avec l'espace de Hilbert des fonctions absolument continues et dont la dérivée est de carré intégrable . Cet espace est muni du produit scalaire suivant :

Pour construire le noyau reproduisant, il suffit de considérer un sous-espace dense, donc soient et . Le théorème fondamental du calcul intégral donne alors

où

et ie

Cela implique la reproduction .

De plus, la fonction minimale sur admet les représentations suivantes avec la fonction ReLU :

Grâce à cette formulation, nous pouvons appliquer le théorème du représentant au RKHS, ce qui permet de prouver l'optimalité de l'utilisation des activations ReLU dans les contextes de réseaux neuronaux.

Plus d articles de Worldlex Wiki

Revenez a l index pour explorer davantage de pages sur l histoire, la science, la culture, la geographie et la societe en francais.