Interpretación bayesiana de la regularización del kernel

Dentro de las estadísticas bayesianas para el aprendizaje automático , los métodos kernel surgen del supuesto de un espacio de producto interno o una estructura de similitud en las entradas. Para algunos de estos métodos, como las máquinas de vectores de soporte (SVM), la formulación original y su regularización no eran de naturaleza bayesiana. Es útil entenderlos desde una perspectiva bayesiana . Debido a que los kernels no son necesariamente semidefinidos positivos, la estructura subyacente puede no ser espacios de producto interno, sino espacios de Hilbert kernel de reproducción más generales . En la probabilidad bayesiana, los métodos kernel son un componente clave de los procesos gaussianos , donde la función kernel se conoce como función de covarianza. Los métodos kernel se han utilizado tradicionalmente en problemas de aprendizaje supervisado donde el espacio de entrada suele ser un espacio de vectores mientras que el espacio de salida es un espacio de escalares . Más recientemente, estos métodos se han extendido a problemas que tratan con múltiples salidas , como en el aprendizaje multitarea . ^[1]

Una equivalencia matemática entre el punto de vista de la regularización y el bayesiano se demuestra fácilmente en casos en los que el espacio de Hilbert del núcleo reproductor es de dimensión finita . El caso de dimensión infinita plantea cuestiones matemáticas sutiles; consideraremos aquí el caso de dimensión finita. Comenzamos con una breve revisión de las ideas principales que subyacen a los métodos de núcleo para el aprendizaje escalar y presentamos brevemente los conceptos de regularización y procesos gaussianos. Luego mostramos cómo ambos puntos de vista llegan a estimadores esencialmente equivalentes y mostramos la conexión que los une.

El problema del aprendizaje supervisado

El problema clásico de aprendizaje supervisado requiere estimar la salida para algún nuevo punto de entrada mediante el aprendizaje de un estimador de valor escalar sobre la base de un conjunto de entrenamiento que consiste en pares de entrada-salida, . ^[2] Dada una función bivariada simétrica y positiva llamada kernel , uno de los estimadores más populares en el aprendizaje automático está dado por ${\displaystyle \mathbf {x} '}$ ${\displaystyle {\hat {f}}(\mathbf {x} ')}$ ${\displaystyle S}$ ${\displaystyle n}$ ${\displaystyle S=(\mathbf {X} ,\mathbf {Y} )=(\mathbf {x} _{1},y_{1}),\ldots ,(\mathbf {x} _{n},y_{n})}$ ${\displaystyle k(\cdot ,\cdot )}$

donde es la matriz kernel con entradas , , y . Veremos cómo se puede derivar este estimador tanto desde una perspectiva de regularización como de una perspectiva bayesiana. ${\displaystyle \mathbf {K} \equiv k(\mathbf {X} ,\mathbf {X} )}$ ${\displaystyle \mathbf {K} _{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})}$ ${\displaystyle \mathbf {k} =[k(\mathbf {x} _{1},\mathbf {x} '),\ldots ,k(\mathbf {x} _{n},\mathbf {x} ')]^{\top }}$ ${\displaystyle \mathbf {Y} =[y_{1},\ldots ,y_{n}]^{\top }}$

Una perspectiva de regularización

El supuesto principal en la perspectiva de regularización es que se supone que el conjunto de funciones pertenece a un espacio de Hilbert de núcleo reproductor . ^{[2] [3] [4] [5]} ${\displaystyle {\mathcal {F}}}$ ${\displaystyle {\mathcal {H}}_{k}}$

Reproducción del espacio de Hilbert del núcleo

Un espacio de Hilbert de núcleo reproductor (RKHS) es un espacio de Hilbert de funciones definidas por una función simétrica , definida positivamente, llamada núcleo reproductor , de modo que la función pertenece a para todos los . ^{[6] [7] [8]} Hay tres propiedades principales que hacen atractivo a un RKHS: ${\displaystyle {\mathcal {H}}_{k}}$ ${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$ ${\displaystyle k(\mathbf {x} ,\cdot )}$ ${\displaystyle {\mathcal {H}}_{k}}$ ${\displaystyle \mathbf {x} \in {\mathcal {X}}}$

1. La propiedad reproductora , que da nombre al espacio,

${\displaystyle f(\mathbf {x} )=\langle f,k(\mathbf {x} ,\cdot )\rangle _{k},\quad \forall \ f\in {\mathcal {H}}_{k},}$

¿Dónde está el producto interno en ? ${\displaystyle \langle \cdot ,\cdot \rangle _{k}}$ ${\displaystyle {\mathcal {H}}_{k}}$

2. Las funciones en un RKHS están en el cierre de la combinación lineal del núcleo en puntos dados,

${\displaystyle f(\mathbf {x} )=\sum _{i}k(\mathbf {x} _{i},\mathbf {x} )c_{i}}$.

Esto permite la construcción en un marco unificado de modelos tanto lineales como lineales generalizados.

3. La norma al cuadrado en un RKHS se puede escribir como

${\displaystyle \|f\|_{k}^{2}=\sum _{i,j}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}}$

y podría verse como una medida de la complejidad de la función.

La función regularizada

El estimador se deriva como el minimizador de la función regularizada.

donde y es la norma en . El primer término en este funcional, que mide el promedio de los cuadrados de los errores entre y , se llama riesgo empírico y representa el costo que pagamos al predecir el valor verdadero . El segundo término en el funcional es la norma al cuadrado en un RKHS multiplicado por un peso y sirve para estabilizar el problema ^{[3] [5]} así como para agregar un equilibrio entre el ajuste y la complejidad del estimador. ^[2] El peso , llamado regularizador , determina el grado en el que se debe penalizar la inestabilidad y la complejidad del estimador (mayor penalización para el valor creciente de ). ${\displaystyle f\in {\mathcal {H}}_{k}}$ ${\displaystyle \|\cdot \|_{k}}$ ${\displaystyle {\mathcal {H}}_{k}}$ ${\displaystyle f(\mathbf {x} _{i})}$ ${\displaystyle y_{i}}$ ${\displaystyle f(\mathbf {x} _{i})}$ ${\displaystyle y_{i}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

Derivación del estimador

La forma explícita del estimador en la ecuación ( 1 ) se deriva en dos pasos. Primero, el teorema del representador ^{[9] [10] [11]} establece que el minimizador del funcional ( 2 ) siempre se puede escribir como una combinación lineal de los núcleos centrados en los puntos del conjunto de entrenamiento,

para algunos . La forma explícita de los coeficientes se puede encontrar sustituyendo en la ecuación funcional ( 2 ). Para una función de la forma en la ecuación ( 3 ), tenemos que ${\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {c} =[c_{1},\ldots ,c_{n}]^{\top }}$ ${\displaystyle f(\cdot )}$

${\displaystyle {\begin{aligned}\|f\|_{k}^{2}&=\langle f,f\rangle _{k},\\&=\left\langle \sum _{i=1}^{N}c_{i}k(\mathbf {x} _{i},\cdot ),\sum _{j=1}^{N}c_{j}k(\mathbf {x} _{j},\cdot )\right\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}\langle k(\mathbf {x} _{i},\cdot ),k(\mathbf {x} _{j},\cdot )\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}k(\mathbf {x} _{i},\mathbf {x} _{j}),\\&=\mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .\end{aligned}}}$

Podemos reescribir la función ( 2 ) como

${\displaystyle {\frac {1}{n}}\|\mathbf {y} -\mathbf {K} \mathbf {c} \|^{2}+\lambda \mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .}$

Esta funcional es convexa en y por lo tanto podemos encontrar su mínimo fijando el gradiente con respecto a a cero, ${\displaystyle \mathbf {c} }$ ${\displaystyle \mathbf {c} }$

${\displaystyle {\begin{aligned}-{\frac {1}{n}}\mathbf {K} (\mathbf {Y} -\mathbf {K} \mathbf {c} )+\lambda \mathbf {K} \mathbf {c} &=0,\\(\mathbf {K} +\lambda n\mathbf {I} )\mathbf {c} &=\mathbf {Y} ,\\\mathbf {c} &=(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .\end{aligned}}}$

Sustituyendo esta expresión por los coeficientes de la ecuación ( 3 ), obtenemos el estimador establecido previamente en la ecuación ( 1 ),

${\displaystyle {\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .}$

Una perspectiva bayesiana

La noción de kernel juega un papel crucial en la probabilidad bayesiana como función de covarianza de un proceso estocástico llamado proceso gaussiano .

Una revisión de la probabilidad bayesiana

Como parte del marco bayesiano, el proceso gaussiano especifica la distribución previa que describe las creencias previas sobre las propiedades de la función que se está modelando. Estas creencias se actualizan después de tener en cuenta los datos de observación mediante una función de verosimilitud que relaciona las creencias previas con las observaciones. En conjunto, la distribución previa y la verosimilitud conducen a una distribución actualizada denominada distribución posterior que se utiliza habitualmente para predecir casos de prueba.

El proceso gaussiano

Un proceso gaussiano (PG) es un proceso estocástico en el que cualquier número finito de variables aleatorias muestreadas sigue una distribución normal conjunta . ^[12] El vector de media y la matriz de covarianza de la distribución gaussiana especifican completamente el PG. Los PG se utilizan normalmente como distribución a priori para funciones y, como tal, el vector de media y la matriz de covarianza pueden verse como funciones, donde la función de covarianza también se denomina núcleo del PG. Sea una función la que sigue un proceso gaussiano con función media y función núcleo , ${\displaystyle f}$ ${\displaystyle m}$ ${\displaystyle k}$

${\displaystyle f\sim {\mathcal {GP}}(m,k).}$

En términos de la distribución gaussiana subyacente, tenemos que para cualquier conjunto finito si dejamos entonces ${\displaystyle \mathbf {X} =\{\mathbf {x} _{i}\}_{i=1}^{n}}$ ${\displaystyle f(\mathbf {X} )=[f(\mathbf {x} _{1}),\ldots ,f(\mathbf {x} _{n})]^{\top }}$

${\displaystyle f(\mathbf {X} )\sim {\mathcal {N}}(\mathbf {m} ,\mathbf {K} ),}$

donde es el vector medio y es la matriz de covarianza de la distribución gaussiana multivariada. ${\displaystyle \mathbf {m} =m(\mathbf {X} )=[m(\mathbf {x} _{1}),\ldots ,m(\mathbf {x} _{N})]^{\top }}$ ${\displaystyle \mathbf {K} =k(\mathbf {X} ,\mathbf {X} )}$

Derivación del estimador

En un contexto de regresión, generalmente se supone que la función de verosimilitud es una distribución gaussiana y que las observaciones son independientes y están distribuidas de manera idéntica (iid).

${\displaystyle p(y|f,\mathbf {x} ,\sigma ^{2})={\mathcal {N}}(f(\mathbf {x} ),\sigma ^{2}).}$

Esta suposición corresponde a que las observaciones se corrompen con ruido gaussiano de media cero con varianza . La suposición iid permite factorizar la función de verosimilitud sobre los puntos de datos dado el conjunto de entradas y la varianza del ruido , y así la distribución posterior se puede calcular analíticamente. Para un vector de entrada de prueba , dados los datos de entrenamiento , la distribución posterior se da por ${\displaystyle \sigma ^{2}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \mathbf {x} '}$ ${\displaystyle S=\{\mathbf {X} ,\mathbf {Y} \}}$

${\displaystyle p(f(\mathbf {x} ')|S,\mathbf {x} ',{\boldsymbol {\phi }})={\mathcal {N}}(m(\mathbf {x} '),\sigma ^{2}(\mathbf {x} ')),}$

donde denota el conjunto de parámetros que incluyen la varianza del ruido y cualquier parámetro de la función de covarianza y donde ${\displaystyle {\boldsymbol {\phi }}}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle k}$

${\displaystyle {\begin{aligned}m(\mathbf {x} ')&=\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {Y} ,\\\sigma ^{2}(\mathbf {x} ')&=k(\mathbf {x} ',\mathbf {x} ')-\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} .\end{aligned}}}$

La conexión entre la regularización y Bayes

Una conexión entre la teoría de regularización y la teoría bayesiana solo se puede lograr en el caso de RKHS de dimensión finita . Bajo este supuesto, la teoría de regularización y la teoría bayesiana están conectadas a través de la predicción del proceso gaussiano. ^{[3] [12]}

En el caso de dimensión finita, cada RKHS se puede describir en términos de un mapa de características tal que ^[2] ${\displaystyle \Phi :{\mathcal {X}}\rightarrow \mathbb {R} ^{p}}$

${\displaystyle k(\mathbf {x} ,\mathbf {x} ')=\sum _{i=1}^{p}\Phi ^{i}(\mathbf {x} )\Phi ^{i}(\mathbf {x} ').}$

Las funciones en el RKHS con núcleo se pueden escribir entonces como ${\displaystyle \mathbf {K} }$

${\displaystyle f_{\mathbf {w} }(\mathbf {x} )=\sum _{i=1}^{p}\mathbf {w} ^{i}\Phi ^{i}(\mathbf {x} )=\langle \mathbf {w} ,\Phi (\mathbf {x} )\rangle ,}$

y también tenemos eso

${\displaystyle \|f_{\mathbf {w} }\|_{k}=\|\mathbf {w} \|.}$

Ahora podemos construir un proceso gaussiano asumiendo que se distribuye de acuerdo con una distribución gaussiana multivariada con media cero y matriz de covarianza identidad, ${\displaystyle \mathbf {w} =[w^{1},\ldots ,w^{p}]^{\top }}$

${\displaystyle \mathbf {w} \sim {\mathcal {N}}(0,\mathbf {I} )\propto \exp(-\|\mathbf {w} \|^{2}).}$

Si asumimos una probabilidad gaussiana tenemos

${\displaystyle P(\mathbf {Y} |\mathbf {X} ,f)={\mathcal {N}}(f(\mathbf {X} ),\sigma ^{2}\mathbf {I} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \|^{2}\right),}$

donde . La distribución posterior resultante es la dada por ${\displaystyle f_{\mathbf {w} }(\mathbf {X} )=(\langle \mathbf {w} ,\Phi (\mathbf {x} _{1})\rangle ,\ldots ,\langle \mathbf {w} ,\Phi (\mathbf {x} _{n}\rangle )}$

${\displaystyle P(f|\mathbf {X} ,\mathbf {Y} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \|_{n}^{2}+\|\mathbf {w} \|^{2}\right)}$

Podemos ver que una estimación posterior máxima (MAP) es equivalente al problema de minimización que define la regularización de Tikhonov , donde en el caso bayesiano el parámetro de regularización está relacionado con la varianza del ruido.

Desde una perspectiva filosófica, la función de pérdida en un contexto de regularización desempeña un papel diferente al de la función de verosimilitud en el contexto bayesiano. Mientras que la función de pérdida mide el error en el que se incurre al predecir en lugar de , la función de verosimilitud mide la probabilidad de que las observaciones se basen en el modelo que se supuso verdadero en el proceso generativo. Sin embargo, desde una perspectiva matemática, las formulaciones de los marcos de regularización y bayesiano hacen que la función de pérdida y la función de verosimilitud tengan el mismo papel matemático de promover la inferencia de funciones que se aproximen a las etiquetas tanto como sea posible. ${\displaystyle f(\mathbf {x} )}$ ${\displaystyle y}$ ${\displaystyle f}$ ${\displaystyle y}$

Véase también

• Mínimos cuadrados regularizados
• Regresión lineal bayesiana
• Interpretación bayesiana de la regularización de Tikhonov

Referencias

1. Álvarez, Mauricio A.; Rosasco, Lorenzo; Lawrence, Neil D. (junio de 2011). "Núcleos para funciones vectoriales: una revisión". arXiv : 1106.6251 [stat.ML].
2. Vapnik, Vladimir (1998). Teoría del aprendizaje estadístico. Wiley. ISBN 9780471030034.
3. Wahba, Grace (1990). Modelos spline para datos observacionales . SIAM.
4. Schölkopf, Bernhard; Smola, Alexander J. (2002). Aprendizaje con núcleos: máquinas de vectores de soporte, regularización, optimización y más . MIT Press. ISBN 9780262194754.
5. Girosi, F.; Poggio, T. (1990). "Redes y la propiedad de mejor aproximación" (PDF) . Cibernética biológica . 63 (3). Springer: 169–176. doi :10.1007/bf00195855. hdl : 1721.1/6017 . S2CID  18824241.
6. Aronszajn, N (mayo de 1950). "Teoría de la reproducción de núcleos". Transacciones de la American Mathematical Society . 68 (3): 337–404. doi : 10.2307/1990404 . JSTOR  1990404.
7. Schwartz, Laurent (1964). "Sous-espaces hilbertiens d'espaces vectoriels topologiques et noyaux associés (noyaux reproduisants)". Revista de Análisis Matemático . 13 (1). Saltador: 115–256. doi :10.1007/bf02786620. S2CID  117202393.
8. Cucker, Felipe; Smale, Steve (5 de octubre de 2001). "Sobre los fundamentos matemáticos del aprendizaje". Boletín de la Sociedad Americana de Matemáticas . 39 (1): 1–49. doi : 10.1090/s0273-0979-01-00923-5 .
9. Kimeldorf, George S.; Wahba, Grace (1970). "Una correspondencia entre la estimación bayesiana en procesos estocásticos y el suavizado por splines". Anales de estadística matemática . 41 (2): 495–502. doi : 10.1214/aoms/1177697089 .
10. Schölkopf, Bernhard; Herbrich, Ralf; Smola, Alex J. (2001). "Un teorema de representante generalizado". Computational Learning Theory . Apuntes de clase en informática. Vol. 2111/2001. págs. 416–426. doi :10.1007/3-540-44581-1_27. ISBN 978-3-540-42343-0.
11. De Vito, Ernesto; Rosasco, Lorenzo; Caponnetto, Andrea; Piana, Michele; Verri, Alessandro (octubre de 2004). "Algunas propiedades de los métodos de kernel regularizados". Revista de investigación en aprendizaje automático . 5 : 1363–1390.
12. Rasmussen, Carl Edward; Williams, Christopher KI (2006). Procesos gaussianos para el aprendizaje automático. The MIT Press. ISBN 0-262-18253-X.