Aproximaciones del proceso gaussiano

En estadística y aprendizaje automático, la aproximación del proceso gaussiano es un método computacional que acelera las tareas de inferencia en el contexto de un modelo de proceso gaussiano , más comúnmente evaluación y predicción de probabilidad . Al igual que las aproximaciones de otros modelos, a menudo pueden expresarse como supuestos adicionales impuestos al modelo, que no corresponden a ninguna característica real, pero que conservan sus propiedades clave al tiempo que simplifican los cálculos. Muchos de estos métodos de aproximación se pueden expresar en términos algebraicos puramente lineales o analíticos funcionales como aproximaciones matriciales o de funciones. Otros son puramente algorítmicos y no pueden reformularse fácilmente como una modificación de un modelo estadístico.

Ideas básicas

En el modelado estadístico , a menudo es conveniente suponer que el fenómeno bajo investigación es un proceso gaussiano indexado por el cual tiene función media y función de covarianza . También se puede suponer que los datos son valores de una realización particular de este proceso para índices . ${\displaystyle y\in {\mathcal {Y}}}$ ${\displaystyle X\in {\mathcal {X}}={\mathcal {X}}_{1}\times {\mathcal {X}}_{2}\dots {\mathcal {X}}_{d}}$ ${\displaystyle \mu :{\mathcal {X}}\rightarrow {\mathcal {Y}}}$ ${\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$ ${\displaystyle \mathbf {y} =(y_{1},\dots ,y_{n})}$ ${\displaystyle \mathbf {X} =X_{1},\dots ,X_{n}}$

En consecuencia, la distribución conjunta de los datos se puede expresar como

${\displaystyle \mathbf {y} \sim {\mathcal {N}}(\mathbf {\mu } ,\mathbf {\Sigma } )}$,

donde y , es decir, respectivamente, una matriz con los valores de la función de covarianza y un vector con los valores medios de la función en (pares de) índices correspondientes. La probabilidad logarítmica negativa de los datos toma entonces la forma ${\displaystyle \mathbf {\Sigma } =\left[K(X_{i},X_{j})\right]_{i,j=1}^{n}}$ ${\displaystyle \mathbf {\mu } =\left(\mu (X_{1}),\mu (X_{2}),\dots ,\mu (X_{d})\right)^{\top }}$

${\displaystyle -\log \ell (\mathbf {y} )={\frac {d}{2\pi }}+{\frac {1}{2}}\log \det(\mathbf {\Sigma } )+\left(\mathbf {y} -\mathbf {\mu } \right)^{\top }\mathbf {\Sigma } ^{-1}\left(\mathbf {y} -\mathbf {\mu } \right)}$

De manera similar, el mejor predictor de los valores de los índices dados los datos tiene la forma ${\displaystyle \mathbf {y} ^{*}}$ ${\displaystyle y}$ ${\displaystyle \mathbf {X} ^{*}=\left(X_{1}^{*},X_{2}^{*},\dots ,X_{d}^{*}\right)}$ ${\displaystyle \mathbf {y} }$

${\displaystyle \mathbf {\mu } _{\mathbf {y} }^{*}=\mathbb {E} \left[\mathbf {y} ^{*}|\mathbf {y} \right]=\mathbf {\mu } ^{*}-\mathbf {\Sigma } _{\mathbf {y} ^{*}\mathbf {y} }\mathbf {\Sigma } ^{-1}\left(\mathbf {y} -\mathbf {\mu } \right)}$

En el contexto de los modelos gaussianos, especialmente en geoestadística , la predicción utilizando el mejor predictor, es decir, la media condicionada a los datos, también se conoce como kriging .

El componente computacionalmente más costoso de la fórmula del mejor predictor es invertir la matriz de covarianza , que tiene complejidad cúbica . De manera similar, evaluar la probabilidad implica tanto calcular como el determinante que tiene la misma complejidad cúbica. ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle {\mathcal {O}}(n^{3})}$ ${\displaystyle \mathbf {\Sigma } ^{-1}}$ ${\displaystyle \det(\mathbf {\Sigma } )}$

Las aproximaciones del proceso gaussiano a menudo se pueden expresar en términos de suposiciones sobre las cuales se pueden calcular con mucha menor complejidad. Dado que generalmente no se cree que estos supuestos reflejen la realidad, la probabilidad y el mejor predictor obtenidos de esta manera no son exactos, pero deben estar cerca de sus valores originales. ${\displaystyle y}$ ${\displaystyle \log \ell (\mathbf {y} )}$ ${\displaystyle \mathbf {\mu } _{\mathbf {y} }^{*}}$

Métodos basados ​​en modelos

Esta clase de aproximaciones se expresa a través de un conjunto de supuestos que se imponen al proceso original y que, típicamente, implican alguna estructura especial de la matriz de covarianza. Aunque la mayoría de estos métodos se desarrollaron de forma independiente, la mayoría de ellos pueden expresarse como casos especiales de la escasa aproximación general de Vecchia .

Métodos de covarianza dispersa

Estos métodos se aproximan al modelo verdadero de manera que la matriz de covarianza es escasa. Normalmente, cada método propone su propio algoritmo que aprovecha al máximo el patrón de escasez en la matriz de covarianza. Dos miembros destacados de esta clase de enfoques son la reducción gradual de la covarianza y la partición de dominios. El primer método generalmente requiere una métrica y asume que solo tenemos if para algún radio . El segundo método supone que existen tales que . Luego, con una distribución adecuada de índices entre los elementos de partición y el orden de los elementos de la matriz de covarianza, se obtiene una diagonal de bloques. ${\displaystyle d}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle X,{\tilde {X}}\in {\mathcal {X}}}$ ${\displaystyle Cov(y(X),y({\tilde {X}}))\neq 0}$ ${\displaystyle d(X,{\tilde {X}})<r}$ ${\displaystyle r}$ ${\displaystyle {\mathcal {X}}^{(1)},\dots ,{\mathcal {X}}^{(K)}}$ ${\displaystyle \bigcup _{k=1}^{K}{\mathcal {X}}^{(k)}}$ ${\displaystyle X}$

Métodos de escasa precisión

Esta familia de métodos supone que la matriz de precisión es escasa y generalmente especifica cuáles de sus elementos son distintos de cero. Esto conduce a una inversión rápida porque solo es necesario calcular esos elementos. Algunas de las aproximaciones destacadas en esta categoría incluyen el enfoque basado en la equivalencia entre procesos gaussianos con la función de covarianza de Matern y PDE estocásticas, incrustaciones periódicas y procesos gaussianos del vecino más cercano. El primer método se aplica al caso de y cuando tiene una métrica definida y aprovecha el hecho de que la propiedad de Markov se cumple, lo que la hace muy escasa. El segundo extiende el dominio y utiliza la Transformada Discreta de Fourier para descorrelacionar los datos, lo que da como resultado una matriz de precisión diagonal. El tercero requiere una métrica y aprovecha el llamado efecto de detección suponiendo que solo si , para algunos . ${\displaystyle \mathbf {\Lambda } =\mathbf {\Sigma } ^{-1}}$ ${\displaystyle d=2}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \mathbf {\Lambda } }$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \mathbf {\Lambda } _{i,j}\neq 0}$ ${\displaystyle d(x_{i},x_{j})<r}$ ${\displaystyle r>0}$

Métodos dispersos del factor Cholesky

En muchas aplicaciones prácticas, el cálculo se reemplaza con el cálculo primero del factor de Cholesky y segundo de su inverso . Se sabe que esto es más estable que una simple inversión. Por este motivo, algunos autores se centran en construir una aproximación dispersa del factor de Cholesky de las matrices de precisión o covarianza. Uno de los métodos más establecidos en esta clase es la aproximación de Vecchia y su generalización. Estos enfoques determinan el orden óptimo de los índices y, en consecuencia, los elementos y luego asumen una estructura de dependencia que minimiza el relleno en el factor de Cholesky. En este marco se pueden expresar varios otros métodos, la aproximación de resolución múltiple (MRA), el proceso gaussiano del vecino más cercano, el proceso predictivo modificado y la aproximación a escala completa. ${\displaystyle \mathbf {\Lambda } }$ ${\displaystyle \mathbf {L} }$ ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {L} ^{-1}}$ ${\displaystyle \mathbf {x} }$

Métodos de bajo rango

Si bien este enfoque abarca muchos métodos, el supuesto común subyacente a todos ellos es el de que , el proceso de interés gaussiano, es efectivamente de rango bajo. Más precisamente, se supone que existe un conjunto de índices tal que cualquier otro conjunto de índices ${\displaystyle y}$ ${\displaystyle {\bar {X}}=\{{\bar {x}}_{1},\dots ,{\bar {x}}_{p}\}}$ ${\displaystyle X=\{x_{1},\dots ,x_{n}\}}$

${\displaystyle y(X)\sim {\mathcal {N}}\left(\mathbf {A} _{X}{\bar {\mathbf {\mu } }},\mathbf {A} _{X}^{\top }{\bar {\mathbf {\Sigma } }}\mathbf {A} _{X}+\mathbf {D} \right)}$

donde es una matriz y y es una matriz diagonal. Dependiendo del método y de la aplicación, se han propuesto varias formas de selección. Normalmente, se selecciona para que sea mucho menor que, lo que significa que el costo computacional de la inversión es manejable ( en lugar de ). ${\displaystyle \mathbf {A} _{X}}$ ${\displaystyle p\times k}$ ${\displaystyle {\bar {\mathbf {\mu } }}=\mu \left(y\left({\bar {X}}\right)\right)}$ ${\displaystyle {\bar {\mathbf {\Sigma } }}=K\left({\bar {X}},{\bar {X}}\right)}$ ${\displaystyle \mathbf {D} }$ ${\displaystyle {\bar {X}}}$ ${\displaystyle p}$ ${\displaystyle n}$ ${\displaystyle {\bar {\mathbf {\Sigma } }}}$ ${\displaystyle {\mathcal {O}}(p^{3})}$ ${\displaystyle {\mathcal {O}}(n^{3})}$

De manera más general, además de seleccionar , también se puede encontrar una matriz y suponer que , donde los valores de un proceso gaussiano posiblemente sean independientes de . Muchos métodos de aprendizaje automático entran en esta categoría, como el subconjunto de regresores (SoR), la máquina de vectores de relevancia , el proceso gaussiano de espectro disperso y otros, y generalmente difieren en la forma en que derivan y . ${\displaystyle {\bar {X}}}$ ${\displaystyle n\times p}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle X=\mathbf {A} \mathbf {\eta } }$ ${\displaystyle \mathbf {\eta } }$ ${\displaystyle p}$ ${\displaystyle x}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {\eta } }$

Métodos jerárquicos

El principio general de las aproximaciones jerárquicas consiste en la aplicación repetida de algún otro método, de modo que cada aplicación consecutiva refina la calidad de la aproximación. Aunque pueden expresarse como un conjunto de supuestos estadísticos, a menudo se describen en términos de una aproximación matricial jerárquica (HODLR) o una expansión de función básica (LatticeKrig, MRA, wavelets). El enfoque matricial jerárquico a menudo se puede representar como una aplicación repetida de una aproximación de rango bajo a subconjuntos sucesivamente más pequeños del conjunto de índices . La expansión de funciones básicas se basa en el uso de funciones con soporte compacto. Estas características pueden luego ser explotadas por un algoritmo que recorre capas consecutivas de la aproximación. En los entornos más favorables, algunos de estos métodos pueden alcanzar una complejidad casi lineal ( ). ${\displaystyle X}$ ${\displaystyle {\mathcal {O}}(n\log n)}$

Marco unificado

Los modelos gráficos probabilísticos proporcionan un marco conveniente para comparar aproximaciones basadas en modelos. En este contexto, el valor del proceso en el índice se puede representar mediante un vértice en un gráfico dirigido y las aristas corresponden a los términos en la factorización de la densidad conjunta de . En general, cuando no se suponen relaciones independientes, la distribución de probabilidad conjunta se puede representar mediante un gráfico acíclico dirigido arbitrario. El uso de una aproximación particular se puede expresar como una determinada forma de ordenar los vértices y agregar o eliminar aristas específicas. ${\displaystyle x_{k}\in X}$ ${\displaystyle y(X)}$

Métodos sin modelo estadístico.

Esta clase de métodos no especifica un modelo estadístico ni impone suposiciones sobre uno existente. Tres miembros principales de este grupo son el algoritmo meta-kriging, el algoritmo de relleno de huecos y el enfoque del proceso gaussiano aproximado local. El primero divide el conjunto de índices en componentes , calcula la distribución condicional para cada uno de esos componentes por separado y luego usa la mediana geométrica de los PDF condicionales para combinarlos. El segundo se basa en una regresión cuantil que utiliza valores del proceso cercanos al valor que se intenta predecir, donde la distancia se mide en términos de una métrica del conjunto de índices. El proceso gaussiano aproximado local utiliza una lógica similar pero construye un proceso estocástico válido basado en estos valores vecinos. ${\displaystyle K}$ ${\displaystyle {\mathcal {X}}^{(1)},\dots ,{\mathcal {X}}^{(k)}}$

Referencias

• Liu, Haitao; Ong, Yew-Pronto; Shen, Xiaobo; Cai, Jianfei (2020). "Cuando el proceso gaussiano se encuentra con Big Data: una revisión del GPS escalable". Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje . PP : 1–19. arXiv : 1807.01065 . doi :10.1109/TNNLS.2019.2957109. PMID  31944966.
• Heaton, Mateo J.; Datta, Abhirup; Finley, Andrew O.; Furrer, Reinhard; Guinness, José; Guhaniyogi, Rajarshi; Gerber, Florián; Gramacia, Robert B.; Martillo, Dorit; Katzfuss, Matías; Lindgren, finlandés; Nychka, Douglas W.; Sol, Furong; Zammit-Mangion, Andrew (2018). "Una competencia de estudios de caso entre métodos para analizar grandes datos espaciales". Revista de Estadísticas Agrícolas, Biológicas y Ambientales . 24 (3): 398–425. doi : 10.1007/s13253-018-00348-w . ISSN  1085-7117. PMC  6709111 .
• Banerjee, Sudipto (2017). "Geoestadística bayesiana de alta dimensión". Análisis bayesiano . 12 (2): 583–614. doi : 10.1214/17-BA1056R . PMC  5790125 . PMID  29391920.