Incorporación del kernel de distribuciones.

En el aprendizaje automático , la incrustación de distribuciones en el núcleo (también llamada media del núcleo o mapa de medias ) comprende una clase de métodos no paramétricos en los que una distribución de probabilidad se representa como un elemento de un espacio de Hilbert del núcleo en reproducción (RKHS). ^[1] Una generalización del mapeo de características de puntos de datos individuales realizado en métodos de kernel clásicos , la incorporación de distribuciones en espacios de características de dimensión infinita puede preservar todas las características estadísticas de distribuciones arbitrarias, al tiempo que permite comparar y manipular distribuciones usando Hilbert. Operaciones espaciales como productos internos , distancias, proyecciones , transformaciones lineales y análisis espectral . ^[2] Este marco de aprendizaje es muy general y se puede aplicar a distribuciones en cualquier espacio en el que se pueda definir una función central sensible (que mida la similitud entre elementos de ). Por ejemplo, se han propuesto varios núcleos para aprender a partir de datos que son: vectores en , clases/categorías discretas, cadenas , gráficos / redes , imágenes, series de tiempo , variedades , sistemas dinámicos y otros objetos estructurados. ^{[3] [4]} La teoría detrás de las incorporaciones de distribuciones al kernel ha sido desarrollada principalmente por Alex Smola, Le Song, Arthur Gretton y Bernhard Schölkopf . Puede encontrar una revisión de trabajos recientes sobre la integración del kernel en distribuciones en ^{[5] .} ${\displaystyle \Omega }$ ${\displaystyle \Omega }$ ${\displaystyle \mathbb {R} ^{d}}$

El análisis de distribuciones es fundamental en el aprendizaje automático y la estadística , y muchos algoritmos en estos campos se basan en enfoques teóricos de la información como la entropía , la información mutua o la divergencia Kullback-Leibler . Sin embargo, para estimar estas cantidades, primero se debe realizar una estimación de la densidad o emplear estrategias sofisticadas de partición del espacio/corrección de sesgo que normalmente no son factibles para datos de alta dimensión. ^[6] Comúnmente, los métodos para modelar distribuciones complejas se basan en suposiciones paramétricas que pueden ser infundadas o desafiantes desde el punto de vista computacional (por ejemplo, modelos de mezcla gaussiana ), mientras que los métodos no paramétricos como la estimación de la densidad del núcleo (Nota: los núcleos de suavizado en este contexto tienen una interpretación diferente a la núcleos discutidos aquí) o la representación de funciones características (a través de la transformada de Fourier de la distribución) se descomponen en entornos de alta dimensión. ^[2]

Los métodos basados ​​en la integración del núcleo de las distribuciones evitan estos problemas y también poseen las siguientes ventajas: ^[6]

1. Los datos pueden modelarse sin suposiciones restrictivas sobre la forma de las distribuciones y las relaciones entre variables.
2. No es necesaria una estimación de densidad intermedia.
3. Los profesionales pueden especificar las propiedades de una distribución más relevantes para su problema (incorporando conocimientos previos mediante la elección del núcleo).
4. Si se utiliza un kernel característico , entonces la incrustación puede preservar de forma única toda la información sobre una distribución, mientras que gracias al truco del kernel , los cálculos en el RKHS potencialmente de dimensión infinita se pueden implementar en la práctica como simples operaciones matriciales de Gram .
5. Se pueden probar tasas de convergencia independientes de la dimensionalidad para la media del núcleo empírico (estimada utilizando muestras de la distribución) con la incorporación del núcleo de la verdadera distribución subyacente.
6. Los algoritmos de aprendizaje basados ​​en este marco exhiben una buena capacidad de generalización y convergencia de muestras finitas, aunque a menudo son más simples y efectivos que los métodos teóricos de la información.

Por lo tanto, el aprendizaje a través de la incorporación de distribuciones al kernel ofrece un reemplazo directo de principios para los enfoques teóricos de la información y es un marco que no solo incluye muchos métodos populares en aprendizaje automático y estadística como casos especiales, sino que también puede conducir a algoritmos de aprendizaje completamente nuevos.

Definiciones

Denotemos una variable aleatoria con dominio y distribución . Dado un núcleo simétrico definido positivo , el teorema de Moore-Aronszajn afirma la existencia de un RKHS único en (un espacio de funciones de Hilbert equipado con un producto interno y una norma ) para el cual hay un núcleo reproductor, es decir, en el que el elemento satisface la propiedad de reproducción ${\displaystyle X}$ ${\displaystyle \Omega }$ ${\displaystyle P}$ ${\displaystyle k:\Omega \times \Omega \rightarrow \mathbb {R} }$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \Omega }$ ${\displaystyle f:\Omega \to \mathbb {R} }$ ${\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {H}}}$ ${\displaystyle \|\cdot \|_{\mathcal {H}}}$ ${\displaystyle k}$ ${\displaystyle k(x,\cdot )}$

${\displaystyle \langle f,k(x,\cdot )\rangle _{\mathcal {H}}=f(x)\qquad \forall f\in {\mathcal {H}},\quad \forall x\in \Omega .}$

Alternativamente, se puede considerar como un mapeo de características implícito (que por lo tanto también se llama espacio de características), de modo que pueda verse como una medida de similitud entre puntos. Si bien la medida de similitud es lineal en el espacio de características, puede ser altamente no lineal en el espacio original dependiendo de la elección del kernel. ${\displaystyle x\mapsto k(x,\cdot )}$ ${\displaystyle \varphi :\Omega \rightarrow {\mathcal {H}}}$ ${\displaystyle k(x,x')=\langle \varphi (x),\varphi (x')\rangle _{\mathcal {H}}}$ ${\displaystyle x,x'\in \Omega .}$

Incrustación de kernel

La incrustación del núcleo de la distribución ( también llamada media del núcleo o mapa de medias ) viene dada por: ^[1] ${\displaystyle P}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)}$

Si permite una densidad integrable al cuadrado , entonces , ¿dónde está el operador integral de Hilbert-Schmidt ? Un núcleo es característico si la incrustación media es inyectiva. ^[7] Por lo tanto, cada distribución puede representarse de forma única en el RKHS y todas las características estadísticas de las distribuciones se conservan mediante la incorporación del núcleo si se utiliza un núcleo característico. ${\displaystyle P}$ ${\displaystyle p}$ ${\displaystyle \mu _{X}={\mathcal {E}}_{k}p}$ ${\displaystyle {\mathcal {E}}_{k}}$ ${\displaystyle \mu :\{{\text{family of distributions over }}\Omega \}\to {\mathcal {H}}}$

Incrustación empírica del kernel

Los ejemplos de entrenamiento dados extraídos de forma independiente y distribuidos de manera idéntica (iid) a partir de la incorporación del núcleo se pueden estimar empíricamente como ${\displaystyle n}$ ${\displaystyle \{x_{1},\ldots ,x_{n}\}}$ ${\displaystyle P,}$ ${\displaystyle P}$

${\displaystyle {\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})}$

Integración de distribución conjunta.

Si denota otra variable aleatoria (para simplificar, supongamos que el codominio de también tiene el mismo núcleo que satisface ), entonces la distribución conjunta se puede mapear en un espacio de características del producto tensor mediante ^[2] ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle \Omega }$ ${\displaystyle k}$ ${\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')}$ ${\displaystyle P(x,y))}$ ${\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}$

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)}$

Por la equivalencia entre un tensor y un mapa lineal , esta incrustación conjunta puede interpretarse como un operador de covarianza cruzada no centrado a partir del cual la covarianza cruzada de funciones se puede calcular como ^[8] ${\displaystyle {\mathcal {C}}_{XY}:{\mathcal {H}}\to {\mathcal {H}}}$ ${\displaystyle f,g\in {\mathcal {H}}}$

${\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}}$

Dados pares de ejemplos de entrenamiento extraídos de iid , también podemos estimar empíricamente la incrustación del núcleo de distribución conjunta mediante ${\displaystyle n}$ ${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$ ${\displaystyle P}$

${\displaystyle {\widehat {\mathcal {C}}}_{XY}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})}$

Incrustación de distribución condicional

Dada una distribución condicional, se puede definir la incrustación RKHS correspondiente como ^[2] ${\displaystyle P(y\mid x),}$

${\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)}$

Tenga en cuenta que la incorporación de define así una familia de puntos en el RKHS indexados por los valores tomados por la variable condicionante . Al fijar un valor particular, obtenemos un solo elemento en y, por lo tanto, es natural definir el operador ${\displaystyle P(y\mid x)}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle {\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal {H}}\to {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1}\end{cases}}}$

que, dado el mapeo de características de las salidas, genera la incrustación condicional de dado Suponiendo que para todos se puede demostrar que ^[8] ${\displaystyle x}$ ${\displaystyle Y}$ ${\displaystyle X=x.}$ ${\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}$

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)}$

Esta suposición siempre es cierta para dominios finitos con núcleos característicos, pero no necesariamente es válida para dominios continuos. ^[2] Sin embargo, incluso en los casos en los que la suposición falla, aún se puede utilizar para aproximar la incrustación condicional del núcleo y, en la práctica, el operador de inversión se reemplaza con una versión regularizada de sí mismo (donde denota la matriz de identidad ). ${\displaystyle {\mathcal {C}}_{Y\mid X}\varphi (x)}$ ${\displaystyle \mu _{Y\mid x},}$ ${\displaystyle ({\mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}}$ ${\displaystyle \mathbf {I} }$

Dados ejemplos de entrenamiento, el operador empírico de incrustación condicional del kernel puede estimarse como ^[2] ${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\},}$

${\displaystyle {\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} +\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}}$

donde se forman implícitamente matrices de características, es la matriz de Gram para muestras de y es un parámetro de regularización necesario para evitar el sobreajuste . ${\displaystyle {\boldsymbol {\Phi }}=\left(\varphi (y_{1}),\dots ,\varphi (y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\dots ,\varphi (x_{n})\right)}$ ${\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}}$ ${\displaystyle X}$ ${\displaystyle \lambda }$

Por lo tanto, la estimación empírica de la incrustación condicional del núcleo viene dada por una suma ponderada de muestras de en el espacio de características: ${\displaystyle Y}$

${\displaystyle {\widehat {\mu }}_{Y\mid x}=\sum _{i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)}$

dónde y ${\displaystyle {\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1}\mathbf {K} _{x}}$ ${\displaystyle \mathbf {K} _{x}=\left(k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}}$

Propiedades

• La expectativa de cualquier función en RKHS se puede calcular como un producto interno con la incorporación del núcleo: ${\displaystyle f}$

${\displaystyle \mathbb {E} [f(X)]=\langle f,\mu _{X}\rangle _{\mathcal {H}}}$

• En presencia de muestras de gran tamaño, las manipulaciones de la matriz de Gram pueden resultar exigentes desde el punto de vista computacional. Mediante el uso de una aproximación de bajo rango de la matriz de Gram (como la factorización incompleta de Cholesky ), el tiempo de ejecución y los requisitos de memoria de los algoritmos de aprendizaje basados ​​en la incorporación del núcleo se pueden reducir drásticamente sin sufrir mucha pérdida en la precisión de la aproximación. ^[2] ${\displaystyle n\times n}$

Convergencia de la media del núcleo empírico con la verdadera incorporación de la distribución

• Si se define de manera que tome valores para todos con (como es el caso de los núcleos de función de base radial ampliamente utilizados ), entonces con probabilidad al menos : ^[6] ${\displaystyle k}$ ${\displaystyle f}$ ${\displaystyle [0,1]}$ ${\displaystyle f\in {\mathcal {H}}}$ ${\displaystyle \|f\|_{\mathcal {H}}\leq 1}$ ${\displaystyle 1-\delta }$

${\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}}$

donde denota la bola unitaria y es la matriz de Gram con ${\displaystyle {\mathcal {B}}(0,1)}$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \mathbf {K} =(k_{ij})}$ ${\displaystyle k_{ij}=k(x_{i},x_{j}).}$

• La tasa de convergencia (en la norma RKHS) del núcleo empírico incorporado a su contraparte de distribución depende y no depende de la dimensión de . ${\displaystyle O(n^{-1/2})}$ ${\displaystyle X}$
• Las estadísticas basadas en incrustaciones de núcleo evitan así la maldición de la dimensionalidad , y aunque en la práctica se desconoce la verdadera distribución subyacente, se puede (con alta probabilidad) obtener una aproximación dentro de la verdadera incrustación de núcleo basada en una muestra finita de tamaño . ${\displaystyle O(n^{-1/2})}$ ${\displaystyle n}$
• Para la incorporación de distribuciones condicionales, la estimación empírica puede verse como un promedio ponderado de asignaciones de características (donde las ponderaciones dependen del valor de la variable condicionante y capturan el efecto del condicionamiento en la incorporación del núcleo). En este caso, la estimación empírica converge a la distribución condicional RKHS incorporada a la tasa si se disminuye el parámetro de regularización, como si se pudieran lograr tasas de convergencia más rápidas colocando supuestos adicionales en la distribución conjunta. ^[2] ${\displaystyle \beta _{i}(x)}$ ${\displaystyle O\left(n^{-1/4}\right)}$ ${\displaystyle \lambda }$ ${\displaystyle O\left(n^{-1/2}\right),}$

núcleos universales

• Sea un espacio métrico compacto y el conjunto de funciones continuas . El núcleo reproductor se llama universal si y sólo si el RKHS de es denso en , es decir, para todos y cada uno existe algo tal que . ^[9] Todos los núcleos universales definidos en un espacio compacto son núcleos característicos, pero lo contrario no siempre es cierto. ^[10] ${\displaystyle {\mathcal {X}}}$ ${\displaystyle C({\mathcal {X}})}$ ${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle k}$ ${\displaystyle C({\mathcal {X}})}$ ${\displaystyle g\in C({\mathcal {X}})}$ ${\displaystyle \varepsilon >0}$ ${\displaystyle f\in {\mathcal {H}}}$ ${\displaystyle \|f-g\|_{\infty }\leq \varepsilon }$
• Sea un núcleo invariante de traducción continua con . Entonces, el teorema de Bochner garantiza la existencia de una medida de Borel finita única (llamada medida espectral ) tal que ${\displaystyle k}$ ${\displaystyle k(x,x')=h(x-x')}$ ${\displaystyle x\in \mathbb {R} ^{b}}$ ${\displaystyle \mu }$ ${\displaystyle \mathbb {R} ^{b}}$

${\displaystyle h(t)=\int _{\mathbb {R} ^{b}}e^{-i\langle t,\omega \rangle }d\mu (\omega ),\quad \forall t\in \mathbb {R} ^{b}.}$

Para ser universal basta con que la parte continua de en su descomposición única de Lebesgue sea distinta de cero. Además, si ${\displaystyle k}$ ${\displaystyle \mu }$ ${\displaystyle \mu =\mu _{c}+\mu _{s}}$

${\displaystyle d\mu _{c}(\omega )=s(\omega )d\omega ,}$

entonces es la densidad espectral de frecuencias en y es la transformada de Fourier de . Si el soporte de es all of , entonces también es un núcleo característico. ^{[11] [12] [13]} ${\displaystyle s}$ ${\displaystyle \omega }$ ${\displaystyle \mathbb {R} ^{b}}$ ${\displaystyle h}$ ${\displaystyle s}$ ${\displaystyle \mu }$ ${\displaystyle \mathbb {R} ^{b}}$ ${\displaystyle k}$

• Si induce una matriz kernel definida estrictamente positiva para cualquier conjunto de puntos distintos, entonces es un kernel universal. ^[6] Por ejemplo, el núcleo gaussiano RBF ampliamente utilizado ${\displaystyle k}$

${\displaystyle k(x,x')=\exp \left(-{\frac {1}{2\sigma ^{2}}}\|x-x'\|^{2}\right)}$

en subconjuntos compactos de es universal. ${\displaystyle \mathbb {R} ^{d}}$

Selección de parámetros para incrustaciones de kernel de distribución condicional

• El operador empírico de incrustación de distribución condicional del núcleo puede verse alternativamente como la solución del siguiente problema de regresión de mínimos cuadrados regularizado (valorado en función) ^[14] ${\displaystyle {\widehat {\mathcal {C}}}_{Y|X}}$

${\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\to {\mathcal {H}}}\sum _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\right\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}}$

¿Dónde está la norma de Hilbert-Schmidt ? ${\displaystyle \|\cdot \|_{HS}}$

• Por lo tanto, se puede seleccionar el parámetro de regularización realizando una validación cruzada basada en la función de pérdida al cuadrado del problema de regresión. ${\displaystyle \lambda }$

Reglas de probabilidad como operaciones en el RKHS

Esta sección ilustra cómo las reglas probabilísticas básicas pueden reformularse como operaciones algebraicas (multi)lineales en el marco de incrustación del núcleo y se basa principalmente en el trabajo de Song et al. ^{[2] [8]} Se adopta la siguiente notación:

• ${\displaystyle P(X,Y)=}$distribución conjunta sobre variables aleatorias ${\displaystyle X,Y}$
• ${\displaystyle P(X)=\int _{\Omega }P(X,\mathrm {d} y)=}$distribución marginal de ; distribución marginal de ${\displaystyle X}$ ${\displaystyle P(Y)=}$ ${\displaystyle Y}$

• ${\displaystyle P(Y\mid X)={\frac {P(X,Y)}{P(X)}}=}$distribución condicional de dado con el operador de incrustación condicional correspondiente ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle {\mathcal {C}}_{Y\mid X}}$
• ${\displaystyle \pi (Y)=}$distribución previa sobre ${\displaystyle Y}$
• ${\displaystyle Q}$Se utiliza para distinguir las distribuciones que incorporan lo anterior de las distribuciones que no se basan en lo anterior. ${\displaystyle P}$

En la práctica, todas las incorporaciones se estiman empíricamente a partir de datos y se supone que se puede utilizar un conjunto de muestras para estimar la incorporación del núcleo de la distribución anterior . ${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$ ${\displaystyle \{{\widetilde {y}}_{1},\ldots ,{\widetilde {y}}_{\widetilde {n}}\}}$ ${\displaystyle \pi (Y)}$

Regla de la suma del núcleo

En teoría de probabilidad, la distribución marginal de se puede calcular integrando a partir de la densidad conjunta (incluida la distribución anterior en ) ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$

${\displaystyle Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi (Y)}$

El análogo de esta regla en el marco de incrustación del kernel establece que la incrustación RKHS de , se puede calcular mediante ${\displaystyle \mu _{X}^{\pi },}$ ${\displaystyle Q(X)}$

${\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }}$

¿Dónde está la incrustación del núcleo? En implementaciones prácticas, la regla de la suma del núcleo toma la siguiente forma. ${\displaystyle \mu _{Y}^{\pi }}$ ${\displaystyle \pi (Y).}$

${\displaystyle {\widehat {\mu }}_{X}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}}$

dónde

${\displaystyle \mu _{Y}^{\pi }=\sum _{i=1}^{\widetilde {n}}\alpha _{i}\varphi ({\widetilde {y}}_{i})}$

es la incorporación empírica del núcleo de la distribución anterior, y son matrices de Gram con entradas respectivamente. ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{\widetilde {n}})^{T},}$ ${\displaystyle {\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\ldots ,\varphi (x_{n})\right)}$ ${\displaystyle \mathbf {G} ,{\widetilde {\mathbf {G} }}}$ ${\displaystyle \mathbf {G} _{ij}=k(y_{i},y_{j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})}$

Regla de la cadena del kernel

En teoría de la probabilidad, una distribución conjunta se puede factorizar en un producto entre distribuciones condicionales y marginales.

${\displaystyle Q(X,Y)=P(X\mid Y)\pi (Y)}$

El análogo de esta regla en el marco de incrustación del kernel establece que la incrustación conjunta de se puede factorizar como una composición del operador de incrustación condicional con el operador de autocovarianza asociado con ${\displaystyle {\mathcal {C}}_{XY}^{\pi },}$ ${\displaystyle Q(X,Y),}$ ${\displaystyle \pi (Y)}$

${\displaystyle {\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }}$

dónde

${\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],}$

${\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].}$

En implementaciones prácticas, la regla de la cadena del núcleo toma la siguiente forma

${\displaystyle {\widehat {\mathcal {C}}}_{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}}$

Regla de Kernel Bayes

En teoría de la probabilidad, una distribución posterior se puede expresar en términos de una distribución previa y una función de probabilidad como

${\displaystyle Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{Q(x)}}}$dónde ${\displaystyle Q(x)=\int _{\Omega }P(x\mid y)\,\mathrm {d} \pi (y)}$

El análogo de esta regla en el marco de incrustación del núcleo expresa la incrustación del núcleo de la distribución condicional en términos de operadores de incrustación condicionales que son modificados por la distribución anterior.

${\displaystyle \mu _{Y\mid x}^{\pi }={\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C}}_{XX}^{\pi }\right)^{-1}\varphi (x)}$

de donde de la regla de la cadena:

${\displaystyle {\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }\right)^{T}.}$

En implementaciones prácticas, la regla de Bayes del núcleo toma la siguiente forma

${\displaystyle {\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}}$

dónde

${\displaystyle {\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatorname {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).}$

En este marco se utilizan dos parámetros de regularización: para la estimación de y para la estimación del operador de incrustación condicional final. ${\displaystyle \lambda }$ ${\displaystyle {\widehat {\mathcal {C}}}_{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}}$ ${\displaystyle {\widetilde {\lambda }}}$

${\displaystyle {\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}^{\pi }\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.}$

La última regularización se realiza al cuadrado de porque puede no ser positiva definida . ${\displaystyle {\widehat {\mathcal {C}}}_{XX}^{\pi }}$ ${\displaystyle D}$

Aplicaciones

Medición de distancia entre distribuciones.

La discrepancia media máxima (MMD) es una medida de distancia entre distribuciones y se define como la distancia entre sus incrustaciones en el RKHS ^[6] ${\displaystyle P(X)}$ ${\displaystyle Q(Y)}$

${\displaystyle {\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\right\|_{\mathcal {H}}.}$

Si bien la mayoría de las medidas de distancia entre distribuciones, como la ampliamente utilizada divergencia de Kullback-Leibler, requieren una estimación de la densidad (ya sea paramétrica o no paramétrica) o estrategias de corrección de sesgo/partición del espacio, ^[6] la MMD se estima fácilmente como una media empírica que se concentra alrededor el verdadero valor del MMD. La caracterización de esta distancia como la máxima discrepancia media se refiere a que calcular la MMD equivale a encontrar la función RKHS que maximiza la diferencia de expectativas entre las dos distribuciones de probabilidad.

${\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),}$

una forma de métrica de probabilidad integral .

Prueba de dos muestras del kernel

Dados n ejemplos de entrenamiento de ym muestras de , se puede formular una estadística de prueba basada en la estimación empírica de la MMD ${\displaystyle P(X)}$ ${\displaystyle Q(Y)}$

${\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}}$

para obtener una prueba de dos muestras ^[15] de la hipótesis nula de que ambas muestras provienen de la misma distribución (es decir, ) frente a la alternativa amplia . ${\displaystyle P=Q}$ ${\displaystyle P\neq Q}$

Estimación de densidad mediante incrustaciones de kernel.

Aunque los algoritmos de aprendizaje en el marco de incorporación del núcleo evitan la necesidad de una estimación de densidad intermedia, se puede utilizar la incorporación empírica para realizar una estimación de densidad basada en n muestras extraídas de una distribución subyacente . Esto se puede hacer resolviendo el siguiente problema de optimización ^{[6] [16]} ${\displaystyle P_{X}^{*}}$

${\displaystyle \max _{P_{X}}H(P_{X})}$sujeto a ${\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon }$

donde la maximización se realiza en todo el espacio de distribuciones. Aquí , está la incrustación del núcleo de la densidad propuesta y es una cantidad similar a la entropía (por ejemplo, entropía , divergencia de KL , divergencia de Bregman ). La distribución que resuelve esta optimización puede interpretarse como un compromiso entre ajustar bien las medias del núcleo empírico de las muestras y, al mismo tiempo, asignar una porción sustancial de la masa de probabilidad a todas las regiones del espacio de probabilidad (muchas de las cuales pueden no estar representadas en el modelo). ejemplos de entrenamiento). En la práctica, se puede encontrar una buena solución aproximada de la difícil optimización restringiendo el espacio de densidades candidatas a una mezcla de M distribuciones candidatas con proporciones de mezcla regularizadas. Se pueden establecer conexiones entre las ideas subyacentes a los procesos gaussianos y los campos aleatorios condicionales con la estimación de distribuciones de probabilidad condicional de esta manera, si se consideran las asignaciones de características asociadas con el núcleo como estadísticas suficientes en familias exponenciales generalizadas (posiblemente de dimensión infinita) . ^[6] ${\displaystyle \Omega .}$ ${\displaystyle \mu _{X}[P_{X}]}$ ${\displaystyle P_{X}}$ ${\displaystyle H}$

Medición de la dependencia de variables aleatorias.

Se puede formular una medida de la dependencia estadística entre variables aleatorias y (de cualquier dominio en el que se puedan definir núcleos sensibles) basándose en el Criterio de independencia de Hilbert-Schmidt ^[17] ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_{XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}}$

y puede usarse como un reemplazo de principios para la información mutua , la correlación de Pearson o cualquier otra medida de dependencia utilizada en los algoritmos de aprendizaje. En particular, HSIC puede detectar dependencias arbitrarias (cuando se utiliza un núcleo característico en las incrustaciones, HSIC es cero si y sólo si las variables son independientes ) y puede usarse para medir la dependencia entre diferentes tipos de datos (por ejemplo, imágenes y leyendas de texto). ). Dadas n muestras iid de cada variable aleatoria, se puede calcular en el tiempo un estimador insesgado simple y sin parámetros de HSIC que muestra concentración alrededor del valor verdadero , ^[6] donde las matrices de Gram de los dos conjuntos de datos se aproximan usando con . Las propiedades deseables de HSIC han llevado a la formulación de numerosos algoritmos que utilizan esta medida de dependencia para una variedad de tareas comunes de aprendizaje automático, como: selección de características (BAHSIC ^[18] ), agrupación (CLUHSIC ^[19] ) y reducción de dimensionalidad ( MÚHSIC ^[20] ). ${\displaystyle O(n(d_{f}^{2}+d_{g}^{2}))}$ ${\displaystyle \mathbf {A} \mathbf {A} ^{T},\mathbf {B} \mathbf {B} ^{T}}$ ${\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}}$

HSIC se puede ampliar para medir la dependencia de múltiples variables aleatorias. Recientemente se ha estudiado la cuestión de cuándo HSIC captura la independencia en este caso: ^[21] para más de dos variables

• en : la propiedad característica de los granos individuales sigue siendo una condición equivalente. ${\displaystyle \mathbb {R} ^{d}}$
• en dominios generales: la propiedad característica de los componentes del núcleo es necesaria pero no suficiente .

Propagación de creencias centrales

La propagación de creencias es un algoritmo fundamental para la inferencia en modelos gráficos en los que los nodos pasan y reciben repetidamente mensajes correspondientes a la evaluación de expectativas condicionales. En el marco de incorporación del kernel, los mensajes se pueden representar como funciones RKHS y las incorporaciones de distribución condicional se pueden aplicar para calcular de manera eficiente las actualizaciones de mensajes. Dadas n muestras de variables aleatorias representadas por nodos en un campo aleatorio de Markov , el mensaje entrante al nodo t desde el nodo u se puede expresar como

${\displaystyle m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ut}^{i}\varphi (x_{t}^{i})}$

si se suponía que estaba en el RKHS. El mensaje de actualización de la propagación de creencias del núcleo desde t al nodo s viene dado por ^[2]

${\displaystyle {\widehat {m}}_{ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T}(\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})}$

donde denota el producto vectorial por elementos, es el conjunto de nodos conectados a t excluyendo el nodo s , son las matrices de Gram de las muestras de las variables , respectivamente, y es la matriz de características para las muestras de . ${\displaystyle \odot }$ ${\displaystyle N(t)\backslash s}$ ${\displaystyle {\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut}^{n}\right)}$ ${\displaystyle \mathbf {K} _{t},\mathbf {K} _{s}}$ ${\displaystyle X_{t},X_{s}}$ ${\displaystyle {\boldsymbol {\Upsilon }}_{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)}$ ${\displaystyle X_{s}}$

Por lo tanto, si los mensajes entrantes al nodo t son combinaciones lineales de muestras de características mapeadas de , entonces el mensaje saliente de este nodo también es una combinación lineal de muestras de características mapeadas de . Por lo tanto, esta representación de función RKHS de actualizaciones de paso de mensajes produce un algoritmo eficiente de propagación de creencias en el que los potenciales son funciones no paramétricas inferidas de los datos para que se puedan modelar relaciones estadísticas arbitrarias. ^[2] ${\displaystyle X_{t}}$ ${\displaystyle X_{s}}$

Filtrado no paramétrico en modelos ocultos de Markov.

En el modelo oculto de Markov (HMM), dos cantidades clave de interés son las probabilidades de transición entre estados ocultos y las probabilidades de emisión para las observaciones. Utilizando el marco de incorporación de distribución condicional del kernel, estas cantidades se pueden expresar en términos de muestras del HMM. Una limitación importante de los métodos de incrustación en este dominio es la necesidad de entrenar muestras que contengan estados ocultos, ya que de lo contrario no es posible inferir con distribuciones arbitrarias en el HMM. ${\displaystyle P(S^{t}\mid S^{t-1})}$ ${\displaystyle P(O^{t}\mid S^{t})}$

Un uso común de los HMM es el filtrado , cuyo objetivo es estimar la distribución posterior sobre el estado oculto en el paso de tiempo t, dado un historial de observaciones previas del sistema. En el filtrado, un estado de creencia se mantiene recursivamente mediante un paso de predicción (donde las actualizaciones se calculan marginando el estado oculto anterior) seguido de un paso de condicionamiento (donde las actualizaciones se calculan aplicando la regla de Bayes para condicionar una nueva observación). ^[2] La incorporación RKHS del estado de creencia en el momento t+1 se puede expresar de forma recursiva como ${\displaystyle s^{t}}$ ${\displaystyle h^{t}=(o^{1},\dots ,o^{t})}$ ${\displaystyle P(S^{t+1}\mid h^{t+1})}$ ${\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]}$ ${\displaystyle P(S^{t+1}\mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{t})}$

${\displaystyle \mu _{S^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({\mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})}$

calculando las incorporaciones del paso de predicción mediante la regla de la suma del núcleo y la incorporación del paso de condicionamiento mediante la regla de Bayes del núcleo. Suponiendo que se proporciona una muestra de entrenamiento , en la práctica se puede estimar ${\displaystyle ({\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})}$

${\displaystyle {\widehat {\mu }}_{S^{t+1}\mid h^{t+1}}=\sum _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})}$

y el filtrado con incrustaciones del kernel se implementa de forma recursiva utilizando las siguientes actualizaciones para los pesos ^[2] ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\dots ,\alpha _{T})}$

${\displaystyle \mathbf {D} ^{t+1}=\operatorname {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)}$

${\displaystyle {\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K} \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^{t+1}\mathbf {K} _{o^{t+1}}}$

donde denotan las matrices de Gram de y respectivamente, es una matriz de Gram de transferencia definida como y ${\displaystyle \mathbf {G} ,\mathbf {K} }$ ${\displaystyle {\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}}$ ${\displaystyle {\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T}}$ ${\displaystyle {\widetilde {\mathbf {G} }}}$ ${\displaystyle {\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),}$ ${\displaystyle \mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\widetilde {o}}^{T},o^{t+1}))^{T}.}$

Máquinas de medida de soporte

La máquina de medidas de soporte (SMM) es una generalización de la máquina de vectores de soporte (SVM) en la que los ejemplos de entrenamiento son distribuciones de probabilidad combinadas con etiquetas . ^[22] Los SMM resuelven el problema de optimización dual SVM estándar utilizando el siguiente kernel esperado ${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}}$

${\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]}$

que es computable en forma cerrada para muchas distribuciones específicas comunes (como la distribución gaussiana) combinada con núcleos de incrustación populares (por ejemplo, el núcleo gaussiano o el núcleo polinomial), o puede estimarse empíricamente con precisión a partir de muestras iid mediante ${\displaystyle P_{i}}$ ${\displaystyle k}$ ${\displaystyle \{x_{i}\}_{i=1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)}$

${\displaystyle {\widehat {K}}(X,Z)={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},z_{j})}$

Bajo ciertas opciones del kernel incorporado , el SMM aplicado a ejemplos de entrenamiento es equivalente a un SVM entrenado en muestras y, por lo tanto, el SMM puede verse como un SVM flexible en el que un kernel diferente dependiente de datos (especificado por la forma asumida del distribución ) se pueden colocar en cada punto de entrenamiento. ^[22] ${\displaystyle k}$ ${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n}}$ ${\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}}$ ${\displaystyle P_{i}}$

Adaptación del dominio bajo cambio de covariable, objetivo y condicional

El objetivo de la adaptación del dominio es la formulación de algoritmos de aprendizaje que se generalicen bien cuando los datos de entrenamiento y de prueba tienen distribuciones diferentes. Dados ejemplos de entrenamiento y un conjunto de pruebas donde se desconocen, comúnmente se asumen tres tipos de diferencias entre la distribución de los ejemplos de entrenamiento y la distribución de la prueba : ^{[23] [24]} ${\displaystyle \{(x_{i}^{\text{tr}},y_{i}^{\text{tr}})\}_{i=1}^{n}}$ ${\displaystyle \{(x_{j}^{\text{te}},y_{j}^{\text{te}})\}_{j=1}^{m}}$ ${\displaystyle y_{j}^{\text{te}}}$ ${\displaystyle P^{\text{tr}}(X,Y)}$ ${\displaystyle P^{\text{te}}(X,Y)}$

1. Cambio de covariables en el que la distribución marginal de las covariables cambia entre dominios: ${\displaystyle P^{\text{tr}}(X)\neq P^{\text{te}}(X)}$
2. Cambio de objetivo en el que la distribución marginal de los productos cambia entre dominios: ${\displaystyle P^{\text{tr}}(Y)\neq P^{\text{te}}(Y)}$
3. El desplazamiento condicional sigue siendo el mismo en todos los dominios, pero las distribuciones condicionales difieren: . En general, la presencia de un cambio condicional conduce a un problema mal planteado , y comúnmente se impone el supuesto adicional de que los cambios sólo cambian bajo transformaciones de ubicación - escala (LS) para hacer que el problema sea manejable. ${\displaystyle P(Y)}$ ${\displaystyle P^{\text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)}$ ${\displaystyle P(X\mid Y)}$ ${\displaystyle X}$

Al utilizar la incorporación del núcleo de distribuciones marginales y condicionales, se pueden formular enfoques prácticos para abordar la presencia de este tipo de diferencias entre los dominios de entrenamiento y prueba. El cambio de covariables puede explicarse reponderando ejemplos mediante estimaciones de la proporción obtenida directamente de las incorporaciones del núcleo de las distribuciones marginales de en cada dominio sin necesidad de una estimación explícita de las distribuciones. ^[24] El cambio de objetivo, que no se puede abordar de manera similar ya que no hay muestras disponibles en el dominio de prueba, se explica ponderando los ejemplos de entrenamiento utilizando el vector que resuelve el siguiente problema de optimización (donde en la práctica se deben usar aproximaciones empíricas) ^[23] ${\displaystyle P^{\text{te}}(X)/P^{\text{tr}}(X)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\boldsymbol {\beta }}^{*}(\mathbf {y} ^{\text{tr}})}$

${\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$sujeto a ${\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1}$

Para lidiar con el cambio condicional de escala de ubicación, se puede realizar una transformación LS de los puntos de entrenamiento para obtener nuevos datos de entrenamiento transformados (donde denota el producto vectorial por elementos). Para garantizar distribuciones similares entre las nuevas muestras de entrenamiento transformadas y los datos de prueba, se estiman minimizando la siguiente distancia empírica de incrustación del núcleo ^[23] ${\displaystyle \mathbf {X} ^{\text{new}}=\mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B} }$ ${\displaystyle \odot }$ ${\displaystyle \mathbf {W} ,\mathbf {B} }$

${\displaystyle \left\|{\widehat {\mu }}_{X^{\text{new}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}=\left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$

En general, los métodos de incorporación del núcleo para tratar con el cambio condicional de LS y el cambio de objetivo se pueden combinar para encontrar una transformación reponderada de los datos de entrenamiento que imite la distribución de la prueba, y estos métodos pueden funcionar bien incluso en presencia de cambios condicionales distintos de la ubicación. -cambios de escala. ^[23]

Generalización de dominio mediante representación de características invariantes

Dados N conjuntos de ejemplos de entrenamiento muestreados iid de distribuciones , el objetivo de la generalización del dominio es formular algoritmos de aprendizaje que funcionen bien en ejemplos de prueba muestreados de un dominio nunca antes visto donde no hay datos del dominio de prueba disponibles en el momento del entrenamiento. Si se supone que las distribuciones condicionales son relativamente similares en todos los dominios, entonces un alumno capaz de generalizar el dominio debe estimar una relación funcional entre las variables que sea robusta a los cambios en los marginales . Basado en las incorporaciones del núcleo de estas distribuciones, el Análisis de componentes invariantes de dominio (DICA) es un método que determina la transformación de los datos de entrenamiento que minimiza la diferencia entre distribuciones marginales y al mismo tiempo preserva una distribución condicional común compartida entre todos los dominios de entrenamiento. ^[25] Por lo tanto, DICA extrae invariantes , características que se transfieren entre dominios, y puede verse como una generalización de muchos métodos populares de reducción de dimensiones, como el análisis de componentes principales del núcleo , el análisis de componentes de transferencia y la regresión inversa del operador de covarianza. ^[25] ${\displaystyle P^{(1)}(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)}$ ${\displaystyle P^{*}(X,Y)}$ ${\displaystyle P(Y\mid X)}$ ${\displaystyle P(X)}$

Definición de una distribución de probabilidad en el RKHS con ${\displaystyle {\mathcal {P}}}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle {\mathcal {P}}\left(\mu _{X^{(i)}Y^{(i)}}\right)={\frac {1}{N}}\qquad {\text{ for }}i=1,\dots ,N,}$

DICA mide la disimilitud entre dominios mediante la varianza distributiva que se calcula como

${\displaystyle V_{\mathcal {H}}({\mathcal {P}})={\frac {1}{N}}\operatorname {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\sum _{i,j=1}^{N}\mathbf {G} _{ij}}$

dónde

${\displaystyle \mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}}$

también lo es una matriz de Gram sobre las distribuciones a partir de las cuales se muestrean los datos de entrenamiento. Al encontrar una transformación ortogonal en un subespacio B de baja dimensión (en el espacio de características) que minimiza la varianza distributiva, DICA garantiza simultáneamente que B se alinee con las bases de un subespacio central C para el cual se vuelve independiente de lo dado en todos los dominios. En ausencia de valores objetivo , se puede formular una versión no supervisada de DICA que encuentre un subespacio de baja dimensión que minimice la variación distributiva y al mismo tiempo maximice la variación de (en el espacio de características) en todos los dominios (en lugar de preservar un subespacio central). ^[25] ${\displaystyle \mathbf {G} }$ ${\displaystyle N\times N}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle C^{T}X}$ ${\displaystyle Y}$ ${\displaystyle X}$

Regresión de distribución

En la regresión de distribución, el objetivo es regresar de distribuciones de probabilidad a reales (o vectores). Muchas tareas estadísticas y de aprendizaje automático importantes encajan en este marco, incluido el aprendizaje de instancias múltiples y problemas de estimación puntual sin solución analítica (como la estimación de hiperparámetros o de entropía ). En la práctica, sólo son observables muestras de distribuciones muestreadas y las estimaciones deben basarse en similitudes calculadas entre conjuntos de puntos . La regresión de distribución se ha aplicado con éxito, por ejemplo, en el aprendizaje supervisado de entropía y en la predicción de aerosoles mediante imágenes de satélite multiespectrales. ^[26]

Dados los datos de entrenamiento, donde la bolsa contiene muestras de una distribución de probabilidad y la etiqueta de salida es , se puede abordar la tarea de regresión de distribución tomando las incorporaciones de las distribuciones y aprendiendo el regresor de las incorporaciones a las salidas. En otras palabras, se puede considerar el siguiente problema de regresión de la cresta del núcleo ${\displaystyle {\left(\{X_{i,n}\}_{n=1}^{N_{i}},y_{i}\right)}_{i=1}^{\ell }}$ ${\displaystyle {\hat {X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}}$ ${\displaystyle X_{i}}$ ${\displaystyle i^{\text{th}}}$ ${\displaystyle y_{i}\in \mathbb {R} }$ ${\displaystyle (\lambda >0)}$

${\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},}$

dónde

${\displaystyle \mu _{{\hat {X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1}{N_{i}}}\sum _{n=1}^{N_{i}}k(\cdot ,X_{i,n})}$

con un núcleo en el dominio de -s , es un núcleo en las distribuciones integradas y es el RKHS determinado por . Los ejemplos incluyen el núcleo lineal , el núcleo gaussiano , el núcleo exponencial , el núcleo de Cauchy , el núcleo t-student generalizado o el núcleo multicuadrático inverso . ${\displaystyle k}$ ${\displaystyle X_{i}}$ ${\displaystyle (k:\Omega \times \Omega \to \mathbb {R} )}$ ${\displaystyle K}$ ${\displaystyle {\mathcal {H}}(K)}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]}$ ${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}$

La predicción de una nueva distribución toma la forma analítica simple. ${\displaystyle ({\hat {X}})}$

${\displaystyle {\hat {y}}{\big (}{\hat {X}}{\big )}=\mathbf {k} [\mathbf {G} +\lambda \ell ]^{-1}\mathbf {y} ,}$

dónde , , , . En condiciones de regularidad leve, se puede demostrar que este estimador es consistente y puede alcanzar la tasa óptima minimax muestreada en una etapa (como si uno tuviera acceso a la verdadera -s) . ^[26] En la función objetivo -s son números reales; los resultados también se pueden extender al caso en que -s son vectores -dimensionales o, más generalmente, elementos de un espacio de Hilbert separable que utiliza núcleos valorados por operadores . ${\displaystyle \mathbf {k} ={\big [}K{\big (}\mu _{{\hat {X}}_{i}},\mu _{\hat {X}}{\big )}{\big ]}\in \mathbb {R} ^{1\times \ell }}$ ${\displaystyle \mathbf {G} =[G_{ij}]\in \mathbb {R} ^{\ell \times \ell }}$ ${\displaystyle G_{ij}=K{\big (}\mu _{{\hat {X}}_{i}},\mu _{{\hat {X}}_{j}}{\big )}\in \mathbb {R} }$ ${\displaystyle \mathbf {y} =[y_{1};\ldots ;y_{\ell }]\in \mathbb {R} ^{\ell }}$ ${\displaystyle X_{i}}$ ${\displaystyle J}$ ${\displaystyle y_{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle d}$ ${\displaystyle K}$

Ejemplo

En este ejemplo simple, tomado de Song et al., ^[2] se supone que son variables aleatorias discretas que toman valores en el conjunto y el núcleo se elige como la función delta de Kronecker , por lo que . El mapa de características correspondiente a este núcleo es el vector base estándar . Las incorporaciones centrales de tales distribuciones son, por tanto, vectores de probabilidades marginales, mientras que las incorporaciones de distribuciones conjuntas en este entorno son matrices que especifican tablas de probabilidad conjunta, y la forma explícita de estas incorporaciones es ${\displaystyle X,Y}$ ${\displaystyle \{1,\ldots ,K\}}$ ${\displaystyle k(x,x')=\delta (x,x')}$ ${\displaystyle \varphi (x)=\mathbf {e} _{x}}$ ${\displaystyle K\times K}$

${\displaystyle \mu _{X}=\mathbb {E} [\mathbf {e} _{X}]={\begin{pmatrix}P(X=1)\\\vdots \\P(X=K)\\\end{pmatrix}}}$

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\mathbf {e} _{X}\otimes \mathbf {e} _{Y}]=(P(X=s,Y=t))_{s,t\in \{1,\ldots ,K\}}}$

Cuando , para todos , el operador de incorporación de distribución condicional, ${\displaystyle P(X=s)>0}$ ${\displaystyle s\in \{1,\ldots ,K\}}$

${\displaystyle {\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1},}$

es en este escenario una tabla de probabilidad condicional

${\displaystyle {\mathcal {C}}_{Y\mid X}=(P(Y=s\mid X=t))_{s,t\in \{1,\dots ,K\}}}$

y

${\displaystyle {\mathcal {C}}_{XX}={\begin{pmatrix}P(X=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &P(X=K)\\\end{pmatrix}}}$

Por lo tanto, las incorporaciones de la distribución condicional bajo un valor fijo de pueden calcularse como ${\displaystyle X}$

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)={\begin{pmatrix}P(Y=1\mid X=x)\\\vdots \\P(Y=K\mid X=x)\\\end{pmatrix}}}$

En esta configuración de valores discretos con el kernel delta de Kronecker, la regla de la suma del kernel se convierte en

${\displaystyle \underbrace {\begin{pmatrix}P(X=1)\\\vdots \\P(X=N)\\\end{pmatrix}} _{\mu _{X}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)\\\vdots \\\pi (Y=N)\\\end{pmatrix}} _{\mu _{Y}^{\pi }}}$

La regla de la cadena del núcleo en este caso viene dada por

${\displaystyle \underbrace {\begin{pmatrix}\\P(X=s,Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{XY}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\pi (Y=K)\\\end{pmatrix}} _{{\mathcal {C}}_{YY}^{\pi }}}$

Referencias

1. A. Smola, A. Gretton, L. Song, B. Schölkopf. (2007). Una incrustación de Hilbert Space para distribuciones Archivado el 15 de diciembre de 2013 en Wayback Machine . Teoría del aprendizaje algorítmico: XVIII Congreso Internacional . Saltador: 13–31.
2. L. Song, K. Fukumizu, F. Dinuzzo, A. Gretton (2013). Incorporaciones de kernel de distribuciones condicionales: un marco de kernel unificado para inferencia no paramétrica en modelos gráficos. Revista de procesamiento de señales IEEE 30 : 98–111.
3. J. Shawe-Taylor, N. Christianini. (2004). Métodos del kernel para análisis de patrones . Cambridge University Press, Cambridge, Reino Unido.
4. T. Hofmann, B. Schölkopf, A. Smola. (2008). Métodos kernel en aprendizaje automático. Los Anales de Estadística 36 (3): 1171-1220.
5. Muandet, Krikamol; Fukumizu, Kenji; Sriperumbudur, Bharat; Schölkopf, Bernhard (28 de junio de 2017). "Incrustación media del kernel de distribuciones: una revisión y más allá". Fundamentos y tendencias en aprendizaje automático . 10 (1–2): 1–141. arXiv : 1605.09522 . doi :10.1561/2200000060. ISSN  1935-8237.
6. L. Canción. (2008) Aprendizaje mediante la incrustación de distribuciones en el espacio de Hilbert. Tesis doctoral, Universidad de Sydney.
7. K. Fukumizu, A. Gretton, X. Sun y B. Schölkopf (2008). Medidas centrales de independencia condicional. Avances en sistemas de procesamiento de información neuronal 20 , MIT Press, Cambridge, MA.
8. L. Song, J. Huang, AJ Smola, K. Fukumizu. (2009). Incorporaciones espaciales de Hilbert de distribuciones condicionales. Proc. En t. Conf. Aprendizaje automático . Montreal, Canadá: 961–968.
9. * Steinwart, Ingo; Christmann, Andreas (2008). Máquinas de vectores de soporte . Nueva York: Springer. ISBN 978-0-387-77241-7.
10. Sriperumbudur, BK; Fukumizu, K.; Lanckriet, GRG (2011). "Universalidad, núcleos característicos e incorporación de medidas RKHS". Revista de investigación sobre aprendizaje automático . 12 (70).
11. Liang, Percy (2016), CS229T/STAT231: Teoría del aprendizaje estadístico (PDF) , notas de conferencias de Stanford
12. Sriperumbudur, BK; Fukumizu, K.; Lanckriet, GRG (2010). Sobre la relación entre universalidad, núcleos característicos y la integración de medidas en RKHS. Actas de la Decimotercera Conferencia Internacional sobre Inteligencia Artificial y Estadística. Italia.
13. Micchelli, California; Xu, Y.; Zhang, H. (2006). "Núcleos universales". Revista de investigación sobre aprendizaje automático . 7 (95): 2651–2667.
14. S. Grunewalder, G. Lever, L. Baldassarre, S. Patterson, A. Gretton, M. Pontil. (2012). Incrustaciones de medias condicionales como regresores. Proc. En t. Conf. Aprendizaje automático : 1823-1830.
15. A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf, A. Smola. (2012). Una prueba de dos muestras del núcleo. Revista de investigación sobre aprendizaje automático , 13 : 723–773.
16. M. Dudík, SJ Phillips, RE Schapire. (2007). Estimación de la distribución máxima de entropía con regularización generalizada y una aplicación al modelado de distribución de especies. Revista de investigación sobre aprendizaje automático , 8 : 1217–1260.
17. A. Gretton, O. Bousquet, A. Smola, B. Schölkopf. (2005). Medición de la dependencia estadística con normas de Hilbert-Schmidt. Proc. Internacional Conf. sobre la teoría del aprendizaje algorítmico : 63–78.
18. L. Song, A. Smola, A. Gretton, K. Borgwardt, J. Bedo. (2007). Selección de características supervisada mediante estimación de dependencia. Proc. Internacional Conf. Aprendizaje automático , Omnipress: 823–830.
19. L. Song, A. Smola, A. Gretton, K. Borgwardt. (2007). Una visión de maximización de la dependencia de la agrupación. Proc. Internacional Conf. Aprendizaje automático . Omnipress: 815–822.
20. L. Song, A. Smola, K. Borgwardt, A. Gretton. (2007). Despliegue de variación máxima de color. Sistemas de procesamiento de información neuronal .
21. Zoltán Szabó, Bharath K. Sriperumbudur. Núcleos de productos tensoriales característicos y universales. Revista de investigación sobre aprendizaje automático , 19:1–29, 2018.
22. K. Muandet, K. Fukumizu, F. Dinuzzo, B. Schölkopf. (2012). Aprendiendo de las distribuciones a través de máquinas de medición de soporte. Avances en los sistemas de procesamiento de información neuronal : 10–18.
23. K. Zhang, B. Schölkopf, K. Muandet, Z. Wang. (2013). Adaptación del dominio bajo cambio objetivo y condicional. Revista de investigación sobre aprendizaje automático, 28 (3): 819–827.
24. A. Gretton, A. Smola, J. Huang, M. Schmittfull, K. Borgwardt, B. Schölkopf. (2008). Cambio de covariables y aprendizaje local mediante emparejamiento de distribución. En J. Quinonero-Candela, M. Sugiyama, A. Schwaighofer, N. Lawrence (eds.). Cambio de conjunto de datos en el aprendizaje automático , MIT Press, Cambridge, MA: 131–160.
25. K. Muandet, D. Balduzzi, B. Schölkopf. (2013). Generalización de dominio mediante representación de características invariantes. 30ª Conferencia Internacional sobre Aprendizaje Automático .
26. Z. Szabó, B. Sriperumbudur, B. Póczos, A. Gretton. Teoría del aprendizaje para la regresión distributiva. Revista de investigación sobre aprendizaje automático , 17(152):1–40, 2016.

enlaces externos

• Caja de herramientas de estimadores teóricos de información (demostración de regresión de distribución).