Reproducción del espacio de Hilbert del núcleo

En análisis funcional, un espacio de Hilbert

La figura ilustra enfoques relacionados pero variados para ver RKHS

En el análisis funcional (una rama de las matemáticas ), un espacio de Hilbert del núcleo reproductor ( RKHS ) es un espacio de funciones de Hilbert en el que la evaluación puntual es un funcional lineal continuo . En términos generales, esto significa que si dos funciones y en el RKHS son cercanas en norma, es decir, pequeñas, entonces y también son cercanas puntualmente, es decir, pequeñas para todas . No es necesario que lo contrario sea cierto. Informalmente, esto se puede demostrar observando la norma suprema : la secuencia de funciones converge puntualmente, pero no converge uniformemente , es decir, no converge con respecto a la norma suprema. (Este no es un contraejemplo porque la norma suprema no surge de ningún producto interno debido a que no se satisface la ley del paralelogramo ). ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle \|f-g\|}$ ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle |f(x)-g(x)|}$ ${\displaystyle x}$ ${\displaystyle \sin ^{n}(x)}$

No es del todo sencillo construir un espacio de funciones de Hilbert que no sea un RKHS. ^[1] Sin embargo, se han encontrado algunos ejemplos. ^{[2] [3]}

Los espacios L ² no son espacios de funciones de Hilbert (y por lo tanto no son RKHS), sino espacios de Hilbert de clases de equivalencia de funciones (por ejemplo, las funcionesydefinidas poryson equivalentes en L ² ). Sin embargo, hay RKHS en los que la norma es una norma L ² , como el espacio de funciones de banda limitada (consulte el ejemplo a continuación). ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle f(x)=0}$ ${\displaystyle g(x)=1_{\mathbb {Q} }}$

Un RKHS está asociado con un núcleo que reproduce cada función en el espacio en el sentido de que para cada elemento del conjunto en el que se definen las funciones, la "evaluación en " se puede realizar tomando un producto interno con una función determinada por el núcleo. Tal núcleo reproductor existe si y sólo si cada función de evaluación es continua. ${\displaystyle x}$ ${\displaystyle x}$

El núcleo reproductor se introdujo por primera vez en el trabajo de 1907 de Stanisław Zaremba sobre problemas de valores límite para funciones armónicas y biarmónicas . James Mercer examinó simultáneamente funciones que satisfacen la propiedad de reproducción en la teoría de ecuaciones integrales . La idea del núcleo reproductor permaneció intacta durante casi veinte años hasta que apareció en las disertaciones de Gábor Szegő , Stefan Bergman y Salomon Bochner . El tema fue finalmente desarrollado sistemáticamente a principios de la década de 1950 por Nachman Aronszajn y Stefan Bergman. ^[4]

Estos espacios tienen amplias aplicaciones, incluido el análisis complejo , el análisis armónico y la mecánica cuántica . La reproducción de espacios de Hilbert del núcleo es particularmente importante en el campo de la teoría del aprendizaje estadístico debido al célebre teorema del representante que establece que cada función en un RKHS que minimiza un riesgo empírico funcional puede escribirse como una combinación lineal de la función del núcleo evaluada en los puntos de entrenamiento. . Este es un resultado prácticamente útil ya que simplifica efectivamente el problema empírico de minimización de riesgos desde un problema de optimización de dimensión infinita a uno de dimensión finita.

Para facilitar la comprensión, proporcionamos el marco para espacios de Hilbert con valor real. La teoría se puede extender fácilmente a espacios de funciones de valores complejos y, por lo tanto, incluir muchos ejemplos importantes de reproducción de espacios de Hilbert del núcleo que son espacios de funciones analíticas . ^[5]

Definición

Sea un conjunto arbitrario y un espacio de Hilbert de funciones con valores reales en , equipado con suma puntual y multiplicación escalar puntual. El funcional de evaluación sobre el espacio de funciones de Hilbert es un funcional lineal que evalúa cada función en un punto , ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle x}$

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

Decimos que H es un espacio de Hilbert de núcleo reproductivo si, para todo in , es continuo en cada in o, de manera equivalente, si es un operador acotado en , es decir, existe algo tal que ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle L_{x}}$ ${\displaystyle f}$ ${\displaystyle H}$ ${\displaystyle L_{x}}$ ${\displaystyle H}$ ${\displaystyle M_{x}>0}$

Aunque se supone que es aplicable a todos , aún podría darse el caso de que . ${\displaystyle M_{x}<\infty }$ ${\displaystyle x\in X}$ ${\textstyle \sup _{x}M_{x}=\infty }$

Si bien la propiedad ( 1 ) es la condición más débil que asegura tanto la existencia de un producto interno como la evaluación de cada función en cada punto del dominio, no se presta a una fácil aplicación en la práctica. Se puede obtener una definición más intuitiva del RKHS observando que esta propiedad garantiza que el funcional de evaluación se pueda representar tomando el producto interno de con una función en . Esta función es el llamado núcleo de reproducción ^{[ cita necesaria ]} para el espacio de Hilbert del que toma su nombre el RKHS. Más formalmente, el teorema de representación de Riesz implica que para todo existe un elemento único con la propiedad de reproducción, ${\displaystyle H}$ ${\displaystyle f}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$ ${\displaystyle H}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

Dado que es en sí misma una función definida con valores en el campo (o en el caso de espacios complejos de Hilbert) y como está en tenemos eso ${\displaystyle K_{x}}$ ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

¿Dónde está el elemento asociado a ? ${\displaystyle K_{y}\in H}$ ${\displaystyle H}$ ${\displaystyle L_{y}}$

Esto nos permite definir el núcleo reproductor de como una función (o en el caso complejo) mediante ${\displaystyle H}$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

A partir de esta definición es fácil ver que (o en el caso complejo) es simétrico (resp. simétrico conjugado) y definido positivo , es decir ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

para cada ^[6] El teorema de Moore-Aronszajn (ver más abajo) es una especie de inverso a esto: si una función satisface estas condiciones, entonces hay un espacio de funciones de Hilbert para el cual es un núcleo reproductor. ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$ ${\displaystyle K}$ ${\displaystyle X}$

Ejemplo

El espacio de funciones continuas de banda limitada es un RKHS, como mostramos ahora. Formalmente, fije alguna frecuencia de corte y defina el espacio de Hilbert ${\displaystyle H}$ ${\displaystyle 0<a<\infty }$

${\displaystyle H=\{f\in C(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

donde es el conjunto de funciones integrables cuadradas continuas, y es la transformada de Fourier de . Como producto interno de este espacio de Hilbert, utilizamos ${\displaystyle C(\mathbb {R} )}$ ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ ${\displaystyle f}$

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

Del teorema de inversión de Fourier , tenemos

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

Luego, por la desigualdad de Cauchy-Schwarz y el teorema de Plancherel, se deduce que, para todos , ${\displaystyle x}$

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

Esta desigualdad muestra que el funcional de evaluación es acotado, lo que demuestra que efectivamente es un RKHS. ${\displaystyle H}$

La función del núcleo en este caso viene dada por ${\displaystyle K_{x}}$

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

La transformada de Fourier definida anteriormente está dada por ${\displaystyle K_{x}(y)}$

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}$

que es una consecuencia de la propiedad de desplazamiento en el tiempo de la transformada de Fourier . En consecuencia, utilizando el teorema de Plancherel , tenemos

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).}$

Así obtenemos la propiedad reproductiva del núcleo.

${\displaystyle K_{x}}$en este caso es la "versión de banda limitada" de la función delta de Dirac , y converge en sentido débil cuando la frecuencia de corte tiende al infinito. ${\displaystyle K_{x}(y)}$ ${\displaystyle \delta (y-x)}$ ${\displaystyle a}$

Teorema de Moore-Aronszajn

Hemos visto cómo un espacio de Hilbert de núcleo reproductor define una función de núcleo reproductor que es a la vez simétrica y definida positiva . El teorema de Moore-Aronszajn va en la otra dirección; afirma que cada núcleo definido positivo y simétrico define un espacio de Hilbert de núcleo reproductor único. El teorema apareció por primera vez en la Teoría de la reproducción de núcleos de Aronszajn , aunque este lo atribuye a EH Moore .

Teorema . Supongamos que K es un núcleo definido positivo y simétrico en un conjunto X. Entonces hay un espacio de funciones de Hilbert único en X para el cual K es un núcleo reproductor.

Prueba . Para todo x en X , defina K _x = K ( x , ⋅ ). Sea H ₀ el tramo lineal de { K _x  : x ∈ X }. Defina un producto interno en H ₀ por

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

lo que implica . La simetría de este producto interno se deriva de la simetría de K y la no degeneración se deriva del hecho de que K es definido positivo. ${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$

Sea H la compleción de H ₀ con respecto a este producto interno. Entonces H consta de funciones de la forma

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

Ahora podemos comprobar la propiedad de reproducción ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

Para demostrar la unicidad, sea G otro espacio de funciones de Hilbert para el cual K es un núcleo reproductor. Para cada xey en X , ( 2 ) implica que

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

Por linealidad, en el lapso de . Entonces, porque G es completo y contiene H ₀ y por tanto contiene su compleción. ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$ ${\displaystyle \{K_{x}:x\in X\}}$ ${\displaystyle H\subset G}$

Ahora necesitamos demostrar que cada elemento de G está en H. Sea un elemento de G . Como H es un subespacio cerrado de G , podemos escribir donde y . Ahora bien, si entonces, dado que K es un núcleo reproductor de G y H : ${\displaystyle f}$ ${\displaystyle f=f_{H}+f_{H^{\bot }}}$ ${\displaystyle f_{H}\in H}$ ${\displaystyle f_{H^{\bot }}\in H^{\bot }}$ ${\displaystyle x\in X}$

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

donde hemos utilizado el hecho de que pertenece a H para que su producto interno con en G sea cero. Esto muestra que en G y concluye la prueba. ${\displaystyle K_{x}}$ ${\displaystyle f_{H^{\bot }}}$ ${\displaystyle f=f_{H}}$

Operadores integrales y teorema de Mercer

Podemos caracterizar un núcleo definido positivo simétrico mediante el operador integral utilizando el teorema de Mercer y obtener una visión adicional del RKHS. Sea un espacio compacto equipado con una medida de Borel finita estrictamente positiva y una función definida continua, simétrica y positiva. Defina el operador integral como ${\displaystyle K}$ ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$

${\displaystyle [T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)}$

donde es el espacio de funciones cuadradas integrables con respecto a . ${\displaystyle L_{2}(X)}$ ${\displaystyle \mu }$

El teorema de Mercer establece que la descomposición espectral del operador integral de produce una representación en serie de en términos de los valores propios y funciones propias de . Esto implica entonces que es un núcleo en reproducción, de modo que el RKHS correspondiente puede definirse en términos de estos valores propios y funciones propias. Proporcionamos los detalles a continuación. ${\displaystyle T_{K}}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle T_{K}}$ ${\displaystyle K}$

Bajo estos supuestos es un operador compacto, continuo, autoadjunto y positivo. El teorema espectral para operadores autoadjuntos implica que existe, como máximo, una secuencia decreciente contable tal que y , donde forman una base ortonormal de . Por la positividad de para todos También se puede demostrar que se aplica continuamente en el espacio de funciones continuas y, por lo tanto, podemos elegir funciones continuas como vectores propios, es decir, para todos. Entonces, según el teorema de Mercer, se puede escribir en términos de valores propios y funciones propias continuas. como ${\displaystyle T_{K}}$ ${\displaystyle (\sigma _{i})_{i}\geq 0}$ ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ ${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$ ${\displaystyle \{\varphi _{i}\}}$ ${\displaystyle L_{2}(X)}$ ${\displaystyle T_{K},\sigma _{i}>0}$ ${\displaystyle i.}$ ${\displaystyle T_{K}}$ ${\displaystyle C(X)}$ ${\displaystyle \varphi _{i}\in C(X)}$ ${\displaystyle i.}$ ${\displaystyle K}$

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

por todo lo que ${\displaystyle x,y\in X}$

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

Esta representación de la serie anterior se conoce como núcleo de Mercer o representación de Mercer de . ${\displaystyle K}$

Además, se puede demostrar que el RKHS de está dado por ${\displaystyle H}$ ${\displaystyle K}$

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

donde el producto interno de dado por ${\displaystyle H}$

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

Esta representación del RKHS tiene aplicación en probabilidad y estadística, por ejemplo, a la representación de Karhunen-Loève para procesos estocásticos y PCA del núcleo .

Mapas de características

Un mapa de características es un mapa , donde hay un espacio de Hilbert al que llamaremos espacio de características. Las primeras secciones presentaron la conexión entre funciones de evaluación acotadas/continuas, funciones definidas positivas y operadores integrales y en esta sección proporcionamos otra representación del RKHS en términos de mapas de características. ${\displaystyle \varphi \colon X\rightarrow F}$ ${\displaystyle F}$

Cada mapa de características define un kernel a través de

Claramente es simétrico y la precisión positiva se deriva de las propiedades del producto interno en . Por el contrario, cada función definida positiva y su correspondiente espacio de Hilbert con núcleo reproductor tiene infinitos mapas de características asociados tales que ( 3 ) se cumple. ${\displaystyle K}$ ${\displaystyle F}$

Por ejemplo, podemos tomar trivialmente y para todos . Entonces ( 3 ) se satisface con la propiedad de reproducción. Otro ejemplo clásico de un mapa de características se relaciona con la sección anterior sobre operadores integrales tomando y . ${\displaystyle F=H}$ ${\displaystyle \varphi (x)=K_{x}}$ ${\displaystyle x\in X}$ ${\displaystyle F=\ell ^{2}}$ ${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$

Esta conexión entre los núcleos y los mapas de características nos proporciona una nueva forma de entender las funciones definidas positivas y, por lo tanto, reproducir los núcleos como productos internos en . Además, cada mapa de características puede definir naturalmente un RKHS mediante la definición de una función definida positiva. ${\displaystyle H}$

Por último, los mapas de características nos permiten construir espacios funcionales que revelan otra perspectiva del RKHS. Considere el espacio lineal

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Podemos definir una norma por ${\displaystyle H_{\varphi }}$

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Se puede demostrar que es un RKHS con kernel definido por . Esta representación implica que los elementos del RKHS son productos internos de elementos en el espacio de características y, en consecuencia, pueden verse como hiperplanos. Esta visión del RKHS está relacionada con el truco del kernel en el aprendizaje automático. ^[7] ${\displaystyle H_{\varphi }}$ ${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$

Propiedades

Propiedades útiles de los RKHS:

• Sea una secuencia de conjuntos y una colección de funciones definidas positivas correspondientes en De ello se deduce que ${\displaystyle (X_{i})_{i=1}^{p}}$ ${\displaystyle (K_{i})_{i=1}^{p}}$ ${\displaystyle (X_{i})_{i=1}^{p}.}$

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  es un núcleo en ${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• Dejemos entonces que la restricción de to sea también un núcleo en reproducción. ${\displaystyle X_{0}\subset X,}$ ${\displaystyle K}$ ${\displaystyle X_{0}\times X_{0}}$
• Considere un kernel normalizado tal que para todos . Defina una pseudométrica en X como ${\displaystyle K}$ ${\displaystyle K(x,x)=1}$ ${\displaystyle x\in X}$

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  Por la desigualdad de Cauchy-Schwarz ,

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  Esta desigualdad nos permite verla como una medida de similitud entre insumos. Si son similares, estarán más cerca de 1, mientras que si son diferentes, estarán más cerca de 0. ${\displaystyle K}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$

• El cierre del tramo de coincide con . ^[8] ${\displaystyle \{K_{x}\mid x\in X\}}$ ${\displaystyle H}$

Ejemplos comunes

Núcleos bilineales

${\displaystyle K(x,y)=\langle x,y\rangle }$

El RKHS correspondiente a este núcleo es el espacio dual, que consta de funciones que satisfacen . ${\displaystyle H}$ ${\displaystyle f(x)=\langle x,\beta \rangle }$ ${\displaystyle \|f\|_{H}^{2}=\|\beta \|^{2}}$

Núcleos polinomiales

${\displaystyle K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N} }$

Núcleos de función de base radial

Éstas son otra clase común de núcleos que satisfacen . Algunos ejemplos incluyen: ${\displaystyle K(x,y)=K(\|x-y\|)}$

• Núcleo exponencial gaussiano o cuadrado :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0}$

• Núcleo laplaciano :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0}$

  La norma al cuadrado de una función en el RKHS con este núcleo es: ^{[9] [10]} ${\displaystyle f}$ ${\displaystyle H}$

  ${\displaystyle \|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.}$

Núcleos de Bergman

También proporcionamos ejemplos de núcleos de Bergman . Sea X finito y H consista en todas las funciones de valores complejos en X. Entonces un elemento de H se puede representar como una matriz de números complejos. Si se utiliza el producto interno habitual , entonces K _x es la función cuyo valor es 1 en x y 0 en cualquier otro lugar, y puede considerarse como una matriz identidad ya que ${\displaystyle K(x,y)}$

${\displaystyle K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}}$

En este caso, H es isomorfo a . ${\displaystyle \mathbb {C} ^{n}}$

El caso de (donde denota la unidad de disco ) es más sofisticado. Aquí el espacio de Bergman es el espacio de funciones holomorfas integrables al cuadrado en . Se puede demostrar que el núcleo reproductor para es ${\displaystyle X=\mathbb {D} }$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$

${\displaystyle K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.}$

Por último, el espacio de funciones limitadas de banda con ancho de banda es un RKHS con núcleo de reproducción. ${\displaystyle L^{2}(\mathbb {R} )}$ ${\displaystyle 2a}$

${\displaystyle K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.}$

Extensión a funciones con valores vectoriales

En esta sección ampliamos la definición de RKHS a espacios de funciones con valores vectoriales, ya que esta extensión es particularmente importante en el aprendizaje multitarea y la regularización múltiple . La principal diferencia es que el núcleo reproductor es una función simétrica que ahora es una matriz semidefinida positiva para cada in . Más formalmente, definimos un RKHS con valores vectoriales (vvRKHS) como un espacio de funciones de Hilbert tal que para todos y ${\displaystyle \Gamma }$ ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle f:X\to \mathbb {R} ^{T}}$ ${\displaystyle c\in \mathbb {R} ^{T}}$ ${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

y

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

Esta segunda propiedad es paralela a la propiedad de reproducción para el caso de valores escalares. Esta definición también se puede conectar a operadores integrales, funciones de evaluación acotadas y mapas de características, como vimos para el RKHS con valores escalares. Podemos definir de manera equivalente vvRKHS como un espacio de Hilbert valorado por un vector con una función de evaluación acotada y demostrar que esto implica la existencia de un núcleo reproductor único según el teorema de representación de Riesz. El teorema de Mercer también se puede ampliar para abordar la configuración con valores vectoriales y, por lo tanto, podemos obtener una vista del mapa de características de vvRKHS. Por último, también se puede demostrar que el cierre del intervalo de coincide con , otra propiedad similar al caso de valores escalares. ${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$ ${\displaystyle H}$

Podemos adquirir intuición para el vvRKHS adoptando una perspectiva de componentes de estos espacios. En particular, encontramos que cada vvRKHS es isométricamente isomorfo a un RKHS con valor escalar en un espacio de entrada particular. Dejar . Considere el espacio y el núcleo reproductor correspondiente. ${\displaystyle \Lambda =\{1,\dots ,T\}}$ ${\displaystyle X\times \Lambda }$

Como se señaló anteriormente, el RKHS asociado a este núcleo en reproducción viene dado por el cierre del lapso de dónde para cada conjunto de pares . ${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$ ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$ ${\displaystyle (x,t),(y,s)\in X\times \Lambda }$

La conexión con el RKHS con valores escalares se puede establecer por el hecho de que cada núcleo con valores matricial puede identificarse con un núcleo de la forma ( 4 ) a través de

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

Además, cada núcleo con la forma ( 4 ) define un núcleo con valores matriciales con la expresión anterior. Ahora dejando que el mapa se defina como ${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

donde es el componente de la base canónica para , se puede demostrar que es biyectiva y una isometría entre y . ${\displaystyle e_{t}}$ ${\displaystyle t^{\text{th}}}$ ${\displaystyle \mathbb {R} ^{T}}$ ${\displaystyle D}$ ${\displaystyle H_{\Gamma }}$ ${\displaystyle H_{\gamma }}$

Si bien esta vista de vvRKHS puede ser útil en el aprendizaje multitarea, esta isometría no reduce el estudio del caso con valores vectoriales al del caso con valores escalares. De hecho, este procedimiento de isometría puede hacer que sea demasiado difícil trabajar en la práctica tanto con el núcleo de valores escalares como con el espacio de entrada, ya que las propiedades de los núcleos originales a menudo se pierden. ^{[11] [12] [13]}

Una clase importante de núcleos reproductores con valores matriciales son los núcleos separables que pueden factorizarse como el producto de un núcleo con valores escalares y una matriz semidefinida positiva simétrica de dimensiones. A la luz de nuestra discusión anterior, estos núcleos tienen la forma ${\displaystyle T}$

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

para todos dentro y dentro . Como el núcleo con valores escalares codifica las dependencias entre las entradas, podemos observar que el núcleo con valores matricial codifica las dependencias tanto entre las entradas como entre las salidas. ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle t,s}$ ${\displaystyle T}$

Por último, observamos que la teoría anterior se puede ampliar aún más a espacios de funciones con valores en espacios funcionales, pero obtener núcleos para estos espacios es una tarea más difícil. ^[14]

Conexión entre RKHS y la función ReLU

La función ReLU se define comúnmente y es un pilar en la arquitectura de redes neuronales donde se utiliza como función de activación. Se puede construir una función no lineal similar a ReLU utilizando la teoría de la reproducción de espacios de Hilbert del núcleo. A continuación, derivamos esta construcción y mostramos cómo implica el poder de representación de las redes neuronales con activaciones ReLU. ${\displaystyle f(x)=\max\{0,x\}}$

Trabajaremos con el espacio de Hilbert de funciones absolutamente continuas con una derivada cuadrada integrable (ie ). Tiene el producto interno. ${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$ ${\displaystyle f(0)=0}$ ${\displaystyle L_{2}}$

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

Para construir el núcleo reproductor basta con considerar un subespacio denso, así que sea y . El teorema fundamental del cálculo da entonces ${\displaystyle f\in C^{1}[0,\infty )}$ ${\displaystyle f(0)=0}$

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

dónde

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

y es decir ${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

Esto implica reproduce . ${\displaystyle K_{y}=K(\cdot ,y)}$ ${\displaystyle f}$

Además, la función mínima tiene las siguientes representaciones con la función ReLu: ${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

Usando esta formulación, podemos aplicar el teorema del representante al RKHS, lo que permite demostrar la optimización del uso de activaciones ReLU en configuraciones de redes neuronales. ^{[ cita necesaria ]}

Ver también

• Núcleo definido positivo
• teorema de mercer
• truco del kernel
• Incorporación del kernel de distribuciones.
• Teorema del representante

Notas

1. Alpay, D. y TM Mills. "Una familia de espacios de Hilbert que no reproducen espacios centrales de Hilbert". J.Anal. Aplica. 1.2 (2003): 107–111.
2. Z. Pasternak-Winiarski, "Sobre pesos que admiten núcleos reproductivos de tipo Bergman", Revista Internacional de Matemáticas y Ciencias Matemáticas , vol. 15, Número 1, 1992.
3. T. Ł. Żynda, "Sobre pesos que admiten la reproducción de núcleos de tipo Szegő", Revista de Análisis Matemático Contemporáneo (Academia de Ciencias de Armenia), 55, 2020.
4. Okutmustur
5. Paulson
6. Durrett
7. rosasco
8. rosasco
9. Berlinet, Alain y Thomas, Christine. Reproducción de espacios centrales de Hilbert en Probabilidad y estadística , Kluwer Academic Publishers, 2004
10. Thomas-Agnan C. Computación de una familia de núcleos reproductores para aplicaciones estadísticas. Algoritmos numéricos, 13, págs. 21-32 (1996)
11. De Vito
12. Zhang
13. Álvarez
14. rosasco

Referencias

• Álvarez, Mauricio, Rosasco, Lorenzo y Lawrence, Neil, “Núcleos para funciones con valores vectoriales: una revisión”, https://arxiv.org/abs/1106.6251, junio de 2011.
• Aronszajn, Nachman (1950). "Teoría de la reproducción de granos". Transacciones de la Sociedad Matemática Estadounidense . 68 (3): 337–404. doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR  1990404. SEÑOR  0051437.
• Berlinet, Alain y Thomas, Christine. Reproducción de espacios centrales de Hilbert en Probabilidad y estadística , Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Pequeño, Steve (2002). "Sobre los fundamentos matemáticos del aprendizaje". Boletín de la Sociedad Matemática Estadounidense . 39 (1): 1–49. doi : 10.1090/S0273-0979-01-00923-5 . SEÑOR  1864085.
• De Vito, Ernest, Umanita, Verónica y Villa, Silvia. "Una extensión del teorema de Mercer a núcleos medibles con valores vectoriales", arXiv :1110.4017, junio de 2013.
• Durrett, Greg. 9.520 Course Notes, Instituto de Tecnología de Massachusetts, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, febrero de 2010.
• Kimeldorf, George; Wahba, gracia (1971). "Algunos resultados sobre las funciones spline chebycheffianas" (PDF) . Revista de Análisis y Aplicaciones Matemáticas . 33 (1): 82–95. doi : 10.1016/0022-247X(71)90184-3 . SEÑOR  0290013.
• Okutmustur, Baver. “Reproduciendo Kernel Hilbert Spaces”, disertación de maestría, Universidad Bilkent, http://www.thesis.bilkent.edu.tr/0002953.pdf, agosto de 2005.
• Paulsen, Vern. “Una introducción a la teoría de la reproducción de espacios de Hilbert del núcleo”, https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87.
• Steinwart, Ingo; Scovel, Clint (2012). "Teorema de Mercer sobre dominios generales: sobre la interacción entre medidas, núcleos y RKHS". Construcción Aprox . 35 (3): 363–417. doi :10.1007/s00365-012-9153-3. SEÑOR  2914365. S2CID  253885172.
• Rosasco, Lorenzo y Poggio, Thomas. Manuscrito "Un recorrido por la regularización del aprendizaje automático: notas de la conferencia del MIT 9.520", diciembre de 2014.
• Wahba, Grace , Modelos spline para datos de observación , SIAM, 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Refinamiento de núcleos reproductores valorados por el operador" (PDF) . Revista de investigación sobre aprendizaje automático . 13 : 91-136.