Reproducción del espacio de Hilbert del núcleo

En el análisis funcional, un espacio de Hilbert

La figura ilustra enfoques relacionados pero diferentes para ver RKHS

En el análisis funcional , un espacio de Hilbert de núcleo reproductor ( RKHS ) es un espacio de Hilbert de funciones en el que la evaluación puntual es una función lineal continua . Específicamente, un espacio de Hilbert de funciones de un conjunto (hasta o ) es un RKHS si, para cada , existe una función tal que para todos , ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle x\in X}$ ${\displaystyle K_{x}\in H}$ ${\displaystyle f\in H}$

${\displaystyle \langle f,K_{x}\rangle =f(x).}$

La función se llama núcleo reproductor y reproduce el valor de at a través del producto interno. ${\displaystyle K_{x}}$ ${\displaystyle f}$ ${\displaystyle x}$

Una consecuencia inmediata de esta propiedad es que la convergencia en la norma implica convergencia puntual (e implica convergencia uniforme si es finito). Sin embargo, lo inverso no se cumple necesariamente. ${\displaystyle \sup _{x\in X}||K_{x}||}$

Por ejemplo, considere la secuencia de funciones . Estas funciones convergen puntualmente a 0 como , pero no convergen uniformemente (es decir, no convergen con respecto a la norma suprema). Esto ilustra que la convergencia puntual no implica convergencia en la norma. Es importante notar que la norma suprema no surge de ningún producto interno, ya que no satisface la ley del paralelogramo . ${\displaystyle \sin ^{2n}(x)}$ ${\displaystyle n\to \infty }$

No es del todo sencillo construir ejemplos naturales de un espacio de Hilbert que no sean un RKHS de una manera no trivial. ^[1] Sin embargo, se han encontrado algunos ejemplos. ^{[2] [3]}

Si bien los espacios L 2 se definen habitualmente como un espacio de Hilbert cuyos elementos son clases de equivalencia de funciones, se pueden redefinir de manera trivial como un espacio de Hilbert de funciones mediante la elección de una función (total) como representante de cada clase de equivalencia. Sin embargo, ninguna elección de representantes puede hacer de este espacio un RKHS ( tendría que ser la inexistente función delta de Dirac). Sin embargo, hay RKHS en los que la norma es una norma L ² , como el espacio de funciones limitadas por banda (véase el ejemplo siguiente). ${\displaystyle K_{0}}$

Un RKHS está asociado con un núcleo que reproduce cada función en el espacio en el sentido de que para cada función en el conjunto en el que se definen las funciones, se puede realizar una "evaluación en" tomando un producto interno con una función determinada por el núcleo. Un núcleo de reproducción de este tipo existe si y solo si cada función de evaluación es continua. ${\displaystyle x}$ ${\displaystyle x}$

El núcleo reproductor fue introducido por primera vez en el trabajo de 1907 de Stanisław Zaremba sobre problemas de valores de contorno para funciones armónicas y biarmónicas . James Mercer examinó simultáneamente las funciones que satisfacen la propiedad de reproducción en la teoría de ecuaciones integrales . La idea del núcleo reproductor permaneció intacta durante casi veinte años hasta que apareció en las disertaciones de Gábor Szegő , Stefan Bergman y Salomon Bochner . El tema fue finalmente desarrollado sistemáticamente a principios de la década de 1950 por Nachman Aronszajn y Stefan Bergman. ^[4]

Estos espacios tienen amplias aplicaciones, incluyendo el análisis complejo , el análisis armónico y la mecánica cuántica . Los espacios de Hilbert de núcleo reproductor son particularmente importantes en el campo de la teoría del aprendizaje estadístico debido al célebre teorema del representador que establece que cada función en un RKHS que minimiza una función de riesgo empírica puede escribirse como una combinación lineal de la función de núcleo evaluada en los puntos de entrenamiento. Este es un resultado prácticamente útil ya que simplifica efectivamente el problema de minimización de riesgo empírico de un problema de optimización de dimensión infinita a uno de dimensión finita.

Para facilitar la comprensión, proporcionamos el marco para espacios de Hilbert de valores reales. La teoría se puede extender fácilmente a espacios de funciones de valores complejos y, por lo tanto, incluye los numerosos ejemplos importantes de espacios de Hilbert de núcleo reproductivos que son espacios de funciones analíticas . ^[5]

Definición

Sea un conjunto arbitrario y un espacio de Hilbert de funciones de valor real en , dotado de suma puntual y multiplicación escalar puntual. La función de evaluación sobre el espacio de Hilbert de funciones es una función lineal que evalúa cada función en un punto , ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle x}$

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

Decimos que H es un espacio de Hilbert de núcleo reproductor si, para todo en , es continuo en todo en o, equivalentemente, si es un operador acotado en , es decir, existe alguno tal que ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle L_{x}}$ ${\displaystyle f}$ ${\displaystyle H}$ ${\displaystyle L_{x}}$ ${\displaystyle H}$ ${\displaystyle M_{x}>0}$

Aunque se supone para todos , todavía podría ser el caso que . ${\displaystyle M_{x}<\infty }$ ${\displaystyle x\in X}$ ${\textstyle \sup _{x}M_{x}=\infty }$

Si bien la propiedad ( 1 ) es la condición más débil que asegura tanto la existencia de un producto interno como la evaluación de cada función en en cada punto del dominio, no se presta a una aplicación fácil en la práctica. Se puede obtener una definición más intuitiva del RKHS observando que esta propiedad garantiza que la función de evaluación se puede representar tomando el producto interno de con una función en . Esta función es el llamado núcleo reproductor ^{[ cita requerida ]} para el espacio de Hilbert del que el RKHS toma su nombre. Más formalmente, el teorema de representación de Riesz implica que para todo en existe un elemento único de con la propiedad reproductora, ${\displaystyle H}$ ${\displaystyle f}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$ ${\displaystyle H}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

Dado que es en sí misma una función definida con valores en el campo (o en el caso de espacios de Hilbert complejos) y como está en tenemos que ${\displaystyle K_{x}}$ ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

¿Dónde está el elemento asociado a ? ${\displaystyle K_{y}\in H}$ ${\displaystyle H}$ ${\displaystyle L_{y}}$

Esto nos permite definir el núcleo reproductor de como una función (o en el caso complejo) por ${\displaystyle H}$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

A partir de esta definición es fácil ver que (o en el caso complejo) es a la vez simétrica (resp. simétrica conjugada) y definida positiva , es decir ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

para cada ^[6] El teorema de Moore-Aronszajn (ver abajo) es una especie de inverso a esto: si una función satisface estas condiciones, entonces hay un espacio de Hilbert de funciones en para el cual es un núcleo reproductor. ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$ ${\displaystyle K}$ ${\displaystyle X}$

Ejemplos

El ejemplo más simple de un espacio de Hilbert con núcleo reproductor es el espacio donde es un conjunto y es la medida de conteo en . Para , el núcleo reproductor es la función indicadora del conjunto de un punto . ${\displaystyle L^{2}(X,\mu )}$ ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle X}$ ${\displaystyle x\in X}$ ${\displaystyle K_{x}}$ ${\displaystyle \{x\}\subset X}$

Los espacios de Hilbert de núcleo reproductor no triviales a menudo involucran funciones analíticas , como ilustramos ahora con un ejemplo. Consideremos el espacio de Hilbert de funciones continuas limitadas por banda . Fije una frecuencia de corte y defina el espacio de Hilbert ${\displaystyle H}$ ${\displaystyle 0<a<\infty }$

${\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

donde es el conjunto de funciones integrables al cuadrado, y es la transformada de Fourier de . Como producto interno, utilizamos ${\displaystyle L^{2}(\mathbb {R} )}$ ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ ${\displaystyle f}$

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

Como se trata de un subespacio cerrado de , es un espacio de Hilbert. Además, los elementos de son funciones suaves en que tienden a cero en el infinito, esencialmente por el lema de Riemann-Lebesgue . De hecho, los elementos de son las restricciones a de funciones holomorfas enteras , por el teorema de Paley-Wiener . ${\displaystyle L^{2}(\mathbb {R} )}$ ${\displaystyle H}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle H}$ ${\displaystyle \mathbb {R} }$

Del teorema de inversión de Fourier , tenemos

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

Se deduce entonces de la desigualdad de Cauchy-Schwarz y del teorema de Plancherel que, para todo , ${\displaystyle x}$

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

Esta desigualdad muestra que la función de evaluación está acotada, lo que demuestra que de hecho es una RKHS. ${\displaystyle H}$

La función kernel en este caso viene dada por ${\displaystyle K_{x}}$

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

La transformada de Fourier definida anteriormente viene dada por ${\displaystyle K_{x}(y)}$

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}$

lo cual es una consecuencia de la propiedad de desplazamiento temporal de la transformada de Fourier . En consecuencia, utilizando el teorema de Plancherel , tenemos

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).}$

De esta manera obtenemos la propiedad reproductora del núcleo.

${\displaystyle K_{x}}$en este caso es la "versión de banda limitada" de la función delta de Dirac , y que converge a en sentido débil a medida que la frecuencia de corte tiende a infinito. ${\displaystyle K_{x}(y)}$ ${\displaystyle \delta (y-x)}$ ${\displaystyle a}$

Teorema de Moore-Aronszajn

Hemos visto cómo un espacio de Hilbert de núcleo reproductor define una función de núcleo reproductor que es a la vez simétrica y definida positiva . El teorema de Moore-Aronszajn va en la dirección opuesta; establece que cada núcleo simétrico y definido positivo define un espacio de Hilbert de núcleo reproductor único. El teorema apareció por primera vez en Theory of Reproducing Kernels de Aronszajn , aunque él lo atribuye a EH Moore .

Teorema . Supóngase que K es un núcleo simétrico, definido positivo en un conjunto X . Entonces existe un único espacio de Hilbert de funciones en X para el cual K es un núcleo reproductor.

Demostración . Para todo x en X , defina K _x = K ( x , ⋅ ). Sea H ₀ el espacio lineal de { K _x  : x ∈ X }. Defina un producto interno en H ₀ por

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

lo que implica . La simetría de este producto interno se desprende de la simetría de K y la no degeneración se desprende del hecho de que K es definida positiva. ${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$

Sea H la completitud de H ₀ con respecto a este producto interno. Entonces H consta de funciones de la forma

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

Ahora podemos comprobar la propiedad de reproducción ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

Para demostrar la unicidad, sea G otro espacio de Hilbert de funciones para el cual K es un núcleo reproductor. Para cada x e y en X , ( 2 ) implica que

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

Por linealidad, en el lapso de . Entonces, como G es completo y contiene H ₀ y, por lo tanto, contiene su completitud. ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$ ${\displaystyle \{K_{x}:x\in X\}}$ ${\displaystyle H\subset G}$

Ahora necesitamos demostrar que cada elemento de G está en H . Sea un elemento de G . Como H es un subespacio cerrado de G , podemos escribir donde y . Ahora bien, si entonces, como K es un núcleo reproductor de G y H : ${\displaystyle f}$ ${\displaystyle f=f_{H}+f_{H^{\bot }}}$ ${\displaystyle f_{H}\in H}$ ${\displaystyle f_{H^{\bot }}\in H^{\bot }}$ ${\displaystyle x\in X}$

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

donde hemos utilizado el hecho de que pertenece a H de modo que su producto interno con en G es cero. Esto demuestra que en G y concluye la prueba. ${\displaystyle K_{x}}$ ${\displaystyle f_{H^{\bot }}}$ ${\displaystyle f=f_{H}}$

Operadores integrales y teorema de Mercer

Podemos caracterizar un núcleo definido positivo simétrico a través del operador integral usando el teorema de Mercer y obtener una visión adicional del RKHS. Sea un espacio compacto equipado con una medida de Borel finita estrictamente positiva y una función definida positiva, continua y simétrica. Defina el operador integral como ${\displaystyle K}$ ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$

${\displaystyle [T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)}$

donde es el espacio de funciones cuadradas integrables con respecto a . ${\displaystyle L_{2}(X)}$ ${\displaystyle \mu }$

El teorema de Mercer establece que la descomposición espectral del operador integral de produce una representación en serie de en términos de los valores propios y las funciones propias de . Esto implica que es un núcleo reproductor, de modo que el RKHS correspondiente se puede definir en términos de estos valores propios y funciones propias. A continuación, proporcionamos los detalles. ${\displaystyle T_{K}}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle T_{K}}$ ${\displaystyle K}$

Bajo estos supuestos es un operador compacto, continuo, autoadjunto y positivo. El teorema espectral para operadores autoadjuntos implica que existe una sucesión decreciente como máximo numerable tal que y , donde forman una base ortonormal de . Por la positividad de para todos También se puede demostrar que se aplica continuamente al espacio de funciones continuas y, por lo tanto, podemos elegir funciones continuas como vectores propios, es decir, para todos Entonces, por el teorema de Mercer, se puede escribir en términos de los valores propios y las funciones propias continuas como ${\displaystyle T_{K}}$ ${\displaystyle (\sigma _{i})_{i}\geq 0}$ ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ ${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$ ${\displaystyle \{\varphi _{i}\}}$ ${\displaystyle L_{2}(X)}$ ${\displaystyle T_{K},\sigma _{i}>0}$ ${\displaystyle i.}$ ${\displaystyle T_{K}}$ ${\displaystyle C(X)}$ ${\displaystyle \varphi _{i}\in C(X)}$ ${\displaystyle i.}$ ${\displaystyle K}$

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

para todos aquellos que ${\displaystyle x,y\in X}$

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

Esta representación de la serie anterior se denomina núcleo de Mercer o representación de Mercer de . ${\displaystyle K}$

Además, se puede demostrar que el RKHS de está dado por ${\displaystyle H}$ ${\displaystyle K}$

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

donde el producto interno de dado por ${\displaystyle H}$

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

Esta representación del RKHS tiene aplicación en probabilidad y estadística, por ejemplo en la representación de Karhunen-Loève para procesos estocásticos y PCA kernel .

Mapas de características

Un mapa de características es un mapa , donde es un espacio de Hilbert al que llamaremos espacio de características. Las primeras secciones presentaron la conexión entre funciones de evaluación acotadas/continuas, funciones definidas positivas y operadores integrales y en esta sección proporcionamos otra representación del RKHS en términos de mapas de características. ${\displaystyle \varphi \colon X\rightarrow F}$ ${\displaystyle F}$

Cada mapa de características define un núcleo a través de

Claramente , la simetría y la definitividad positiva se deducen de las propiedades del producto interno en . A la inversa, cada función definida positiva y el espacio de Hilbert del núcleo reproductor correspondiente tiene infinitos mapas de características asociados tales que ( 3 ) se cumple. ${\displaystyle K}$ ${\displaystyle F}$

Por ejemplo, podemos tomar trivialmente y para todo . Entonces ( 3 ) se satisface por la propiedad de reproducción. Otro ejemplo clásico de un mapa de características se relaciona con la sección anterior sobre operadores integrales al tomar y . ${\displaystyle F=H}$ ${\displaystyle \varphi (x)=K_{x}}$ ${\displaystyle x\in X}$ ${\displaystyle F=\ell ^{2}}$ ${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$

Esta conexión entre los núcleos y los mapas de características nos proporciona una nueva forma de entender las funciones definidas positivas y, por lo tanto, reproducir los núcleos como productos internos en . Además, cada mapa de características puede definir naturalmente un RKHS mediante la definición de una función definida positiva. ${\displaystyle H}$

Por último, los mapas de características nos permiten construir espacios de funciones que revelan otra perspectiva sobre el RKHS. Consideremos el espacio lineal

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Podemos definir una norma por ${\displaystyle H_{\varphi }}$

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Se puede demostrar que es un RKHS con núcleo definido por . Esta representación implica que los elementos del RKHS son productos internos de elementos en el espacio de características y, en consecuencia, pueden verse como hiperplanos. Esta visión del RKHS está relacionada con el truco del núcleo en el aprendizaje automático. ^[7] ${\displaystyle H_{\varphi }}$ ${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$

Propiedades

Propiedades útiles de los RKHS:

• Sea una secuencia de conjuntos y una colección de funciones definidas positivas correspondientes en Entonces se sigue que ${\displaystyle (X_{i})_{i=1}^{p}}$ ${\displaystyle (K_{i})_{i=1}^{p}}$ ${\displaystyle (X_{i})_{i=1}^{p}.}$

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  es un núcleo en ${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• Sea entonces la restricción de a también un núcleo reproductor. ${\displaystyle X_{0}\subset X,}$ ${\displaystyle K}$ ${\displaystyle X_{0}\times X_{0}}$
• Consideremos un núcleo normalizado tal que para todo . Definamos una pseudométrica en X como ${\displaystyle K}$ ${\displaystyle K(x,x)=1}$ ${\displaystyle x\in X}$

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  Por la desigualdad de Cauchy-Schwarz ,

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  Esta desigualdad nos permite verla como una medida de similitud entre entradas. Si son similares entonces estarán más cerca de 1 mientras que si son diferentes entonces estarán más cerca de 0. ${\displaystyle K}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$

• El cierre del lapso de coincide con . ^[8] ${\displaystyle \{K_{x}\mid x\in X\}}$ ${\displaystyle H}$

Ejemplos comunes

Núcleos bilineales

${\displaystyle K(x,y)=\langle x,y\rangle }$

El RKHS correspondiente a este núcleo es el espacio dual, que consiste en funciones que satisfacen . ${\displaystyle H}$ ${\displaystyle f(x)=\langle x,\beta \rangle }$ ${\displaystyle \|f\|_{H}^{2}=\|\beta \|^{2}}$

Núcleos polinómicos

${\displaystyle K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N} }$

Núcleos de funciones de base radial

Estos son otros tipos comunes de núcleos que satisfacen . Algunos ejemplos incluyen: ${\displaystyle K(x,y)=K(\|x-y\|)}$

• Kernel exponencial gaussiano o cuadrado :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0}$

• Núcleo laplaciano :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0}$

  La norma al cuadrado de una función en el RKHS con este núcleo es: ^{[9] [10]} ${\displaystyle f}$ ${\displaystyle H}$

  ${\displaystyle \|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.}$

Granos de Bergman

También proporcionamos ejemplos de núcleos de Bergman . Sea X finito y sea H compuesto por todas las funciones de valor complejo en X. Entonces, un elemento de H puede representarse como una matriz de números complejos. Si se utiliza el producto interno habitual, entonces K _x es la función cuyo valor es 1 en x y 0 en todos los demás lugares, y puede considerarse como una matriz identidad ya que ${\displaystyle K(x,y)}$

${\displaystyle K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}}$

En este caso, H es isomorfo a . ${\displaystyle \mathbb {C} ^{n}}$

El caso de (donde denota el disco unitario ) es más sofisticado. Aquí el espacio de Bergman es el espacio de funciones holomorfas integrables al cuadrado en . Se puede demostrar que el núcleo reproductor para es ${\displaystyle X=\mathbb {D} }$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$

${\displaystyle K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.}$

Por último, el espacio de funciones de banda limitada con ancho de banda es un RKHS con núcleo de reproducción. ${\displaystyle L^{2}(\mathbb {R} )}$ ${\displaystyle 2a}$

${\displaystyle K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.}$

Extensión a funciones con valores vectoriales

En esta sección ampliamos la definición de RKHS a espacios de funciones con valores vectoriales, ya que esta extensión es particularmente importante en el aprendizaje multitarea y la regularización de variedades . La principal diferencia es que el núcleo de reproducción es una función simétrica que ahora es una matriz semidefinida positiva para cada en . Más formalmente, definimos un RKHS con valores vectoriales (vvRKHS) como un espacio de Hilbert de funciones tal que para todos y ${\displaystyle \Gamma }$ ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle f:X\to \mathbb {R} ^{T}}$ ${\displaystyle c\in \mathbb {R} ^{T}}$ ${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

y

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

Esta segunda propiedad es paralela a la propiedad de reproducción para el caso de valor escalar. Esta definición también se puede conectar con operadores integrales, funciones de evaluación acotadas y mapas de características como vimos para el RKHS de valor escalar. Podemos definir de manera equivalente el vvRKHS como un espacio de Hilbert de valor vectorial con una funcional de evaluación acotada y mostrar que esto implica la existencia de un núcleo de reproducción único mediante el teorema de representación de Riesz. El teorema de Mercer también se puede extender para abordar la configuración de valor vectorial y, por lo tanto, podemos obtener una vista de mapa de características del vvRKHS. Por último, también se puede mostrar que el cierre del lapso de coincide con , otra propiedad similar al caso de valor escalar. ${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$ ${\displaystyle H}$

Podemos obtener una idea intuitiva de los vvRKHS si tomamos una perspectiva de componentes en estos espacios. En particular, encontramos que cada vvRKHS es isométricamente isomorfo a un RKHS de valor escalar en un espacio de entrada particular. Sea . Consideremos el espacio y el núcleo de reproducción correspondiente ${\displaystyle \Lambda =\{1,\dots ,T\}}$ ${\displaystyle X\times \Lambda }$

Como se señaló anteriormente, el RKHS asociado a este núcleo de reproducción está dado por el cierre del lapso de donde para cada conjunto de pares . ${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$ ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$ ${\displaystyle (x,t),(y,s)\in X\times \Lambda }$

La conexión con el RKHS de valor escalar se puede hacer entonces por el hecho de que cada núcleo de valor matricial se puede identificar con un núcleo de la forma de ( 4 ) a través de

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

Además, cada núcleo con la forma ( 4 ) define un núcleo matricial con la expresión anterior. Ahora, definamos la función como ${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

donde es el componente de la base canónica para , se puede demostrar que es biyectiva y una isometría entre y . ${\displaystyle e_{t}}$ ${\displaystyle t^{\text{th}}}$ ${\displaystyle \mathbb {R} ^{T}}$ ${\displaystyle D}$ ${\displaystyle H_{\Gamma }}$ ${\displaystyle H_{\gamma }}$

Si bien esta visión del vvRKHS puede ser útil en el aprendizaje multitarea, esta isometría no reduce el estudio del caso de valor vectorial al del caso de valor escalar. De hecho, este procedimiento de isometría puede hacer que tanto el núcleo de valor escalar como el espacio de entrada sean demasiado difíciles de trabajar en la práctica, ya que las propiedades de los núcleos originales a menudo se pierden. ^{[11] [12] [13]}

Una clase importante de núcleos reproductores con valores matriciales son los núcleos separables , que pueden factorizarse como el producto de un núcleo con valores escalares y una matriz semidefinida positiva simétrica de dimensión 1. A la luz de nuestra discusión anterior, estos núcleos tienen la forma ${\displaystyle T}$

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

para todos en y en . Como el núcleo con valores escalares codifica las dependencias entre las entradas, podemos observar que el núcleo con valores matriciales codifica las dependencias entre las entradas y las salidas. ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle t,s}$ ${\displaystyle T}$

Por último, observamos que la teoría anterior se puede extender aún más a espacios de funciones con valores en espacios de funciones, pero obtener núcleos para estos espacios es una tarea más difícil. ^[14]

Conexión entre los RKHS y la función ReLU

La función ReLU se define comúnmente como una función de activación y es un pilar en la arquitectura de redes neuronales. Se puede construir una función no lineal similar a ReLU utilizando la teoría de reproducción de espacios de Hilbert de kernel. A continuación, derivamos esta construcción y mostramos cómo implica el poder de representación de las redes neuronales con activaciones ReLU. ${\displaystyle f(x)=\max\{0,x\}}$

Trabajaremos con el espacio de Hilbert de funciones absolutamente continuas con derivada integrable al cuadrado (es decir, ). Tiene el producto interno ${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$ ${\displaystyle f(0)=0}$ ${\displaystyle L_{2}}$

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

Para construir el núcleo reproductor basta considerar un subespacio denso, por lo que sean y . El Teorema Fundamental del Cálculo da entonces ${\displaystyle f\in C^{1}[0,\infty )}$ ${\displaystyle f(0)=0}$

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

dónde

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

y es decir ${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

Esto implica reproduce . ${\displaystyle K_{y}=K(\cdot ,y)}$ ${\displaystyle f}$

Además la función mínima tiene las siguientes representaciones con la función ReLu: ${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

Usando esta formulación, podemos aplicar el teorema del representador al RKHS, lo que permite demostrar la optimalidad de usar activaciones ReLU en entornos de redes neuronales. ^{[ cita requerida ]}

Véase también

• Núcleo definido positivo
• Teorema de Mercer
• Truco del kernel
• Integración de distribuciones en el núcleo
• Teorema del representante

Notas

1. Alpay, D. y TM Mills. "Una familia de espacios de Hilbert que no reproducen espacios de Hilbert de núcleo". J. Anal. Appl. 1.2 (2003): 107–111.
2. Z. Pasternak-Winiarski, "Sobre pesos que admiten la reproducción de núcleos de tipo Bergman", Revista Internacional de Matemáticas y Ciencias Matemáticas , vol. 15, número 1, 1992.
3. T. Ł. Żynda, "Sobre pesos que admiten la reproducción del núcleo del tipo Szegő", Journal of Contemporary Mathematical Analysis (Academia de Ciencias de Armenia), 55, 2020.
4. Mustur de la noche
5. Paulson
6. Durrett
7. Rosasco
8. Rosasco
9. Berlinet, Alain y Thomas, Christine. Reproducción de espacios de Hilbert de núcleo en probabilidad y estadística , Kluwer Academic Publishers, 2004
10. Thomas-Agnan C. Cálculo de una familia de núcleos de reproducción para aplicaciones estadísticas. Algoritmos numéricos, 13, págs. 21-32 (1996)
11. De Vito
12. Zhang
13. Álvarez
14. Rosasco

Referencias

• Alvarez, Mauricio, Rosasco, Lorenzo y Lawrence, Neil, “Núcleos para funciones con valores vectoriales: una revisión”, https://arxiv.org/abs/1106.6251, junio de 2011.
• Aronszajn, Nachman (1950). "Teoría de la reproducción de núcleos". Transacciones de la American Mathematical Society . 68 (3): 337–404. doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR  1990404. MR  0051437.
• Berlinet, Alain y Thomas, Christine. Reproducción de espacios de Hilbert en probabilidad y estadística , Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Smale, Steve (2002). "Sobre los fundamentos matemáticos del aprendizaje". Boletín de la Sociedad Americana de Matemáticas . 39 (1): 1–49. doi : 10.1090/S0273-0979-01-00923-5 . MR  1864085.
• De Vito, Ernest, Umanita, Verónica y Villa, Silvia. "Una extensión del teorema de Mercer a núcleos medibles con valores vectoriales", arXiv :1110.4017, junio de 2013.
• Durrett, Greg. Notas del curso 9.520, Instituto Tecnológico de Massachusetts, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, febrero de 2010.
• Kimeldorf, George; Wahba, Grace (1971). "Algunos resultados sobre funciones spline de Chebycheff" (PDF) . Revista de análisis matemático y aplicaciones . 33 (1): 82–95. doi : 10.1016/0022-247X(71)90184-3 . MR  0290013.
• Okutmustur, Baver. “Reproducción de espacios de Hilbert en el núcleo”, tesis de maestría, Universidad Bilkent, http://www.thesis.bilkent.edu.tr/0002953.pdf, agosto de 2005.
• Paulsen, Vern. “Introducción a la teoría de reproducción de espacios de Hilbert de núcleo”, https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87.
• Steinwart, Ingo; Scovel, Clint (2012). "Teorema de Mercer sobre dominios generales: sobre la interacción entre medidas, núcleos y RKHS". Constr. App . 35 (3): 363–417. doi :10.1007/s00365-012-9153-3. MR  2914365. S2CID  253885172.
• Rosasco, Lorenzo y Poggio, Thomas. "Un recorrido por la regularización del aprendizaje automático: notas de la clase MIT 9.520", manuscrito, diciembre de 2014.
• Wahba, Grace , Modelos spline para datos observacionales , SIAM, 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Refinamiento de núcleos reproductivos con valores de operador" (PDF) . Journal of Machine Learning Research . 13 : 91–136.