Aproximación de Vecchia

La aproximación de Vecchia es una técnica de aproximación de procesos gaussianos desarrollada originalmente por Aldo Vecchia, estadístico del Servicio Geológico de Estados Unidos . ^[1] Es uno de los primeros intentos de utilizar procesos gaussianos en entornos de alta dimensión. Desde entonces se ha generalizado ampliamente dando lugar a muchas aproximaciones contemporáneas.

Intuición

Una distribución de probabilidad conjunta para eventos , y , denotada , se puede expresar como ${\displaystyle A,B}$ ${\displaystyle C}$ ${\displaystyle P(A,B,C)}$

${\displaystyle P(A,B,C)=P(A)P(B|A)P(C|A,B)}$

La aproximación de Vecchia toma la forma, por ejemplo,

${\displaystyle P(A,B,C)\approx P(A)P(B|A)P(C|A)}$

y es preciso cuando los eventos y están cerca del conocimiento dado de condicionalmente independiente . Por supuesto, se podría haber elegido alternativamente la aproximación ${\displaystyle B}$ ${\displaystyle C}$ ${\displaystyle A}$

${\displaystyle P(A,B,C)\approx P(A)P(B|A)P(C|B)}$

y, por lo tanto, el uso de la aproximación requiere cierto conocimiento de qué eventos son casi condicionalmente independientes dados otros. Además, podríamos haber elegido un orden diferente, por ejemplo

${\displaystyle P(A,B,C)\approx P(C)P(C|A)P(B|A).}$

Afortunadamente, en muchos casos existen buenas heurísticas que toman decisiones sobre cómo construir la aproximación.

Más técnicamente, las versiones generales de la aproximación conducen a un factor de Cholesky escaso de la matriz de precisión. El uso de la factorización estándar de Cholesky produce entradas que pueden interpretarse ^[2] como correlaciones condicionales con ceros que indican que no hay independencia (ya que el modelo es gaussiano). Estas relaciones de independencia se pueden expresar alternativamente utilizando modelos gráficos y existen teoremas que vinculan la estructura del gráfico y el orden de los vértices con ceros en el factor de Cholesky. En particular, se sabe ^[3] que las independencias que están codificadas en un gráfico moral conducen a factores de Cholesky de la matriz de precisión que no tienen relleno .

Descripción formal

El problema

Sea un proceso gaussiano indexado por con función media y función de covarianza . Supongamos que es un subconjunto finito de y es un vector de valores de evaluados en , es decir, para . Supongamos además que se observa dónde con . En este contexto, las dos tareas de inferencia más comunes incluyen evaluar la probabilidad ${\displaystyle x}$ ${\displaystyle {\mathcal {S}}}$ ${\displaystyle \mu }$ ${\displaystyle K}$ ${\displaystyle S=\{s_{1},\dots ,s_{n}\}\subset {\mathcal {S}}}$ ${\displaystyle {\mathcal {S}}}$ ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})}$ ${\displaystyle x}$ ${\displaystyle S}$ ${\displaystyle x_{i}=x(s_{i})}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle \mathbf {y} =(y_{1},\dots ,y_{n})}$ ${\displaystyle y_{i}=x_{i}+\varepsilon _{i}}$ ${\displaystyle \varepsilon _{i}{\overset {\text{i.i.d.}}{\sim }}{\mathcal {N}}(0,\sigma ^{2})}$

${\displaystyle {\mathcal {L}}(\mathbf {y} )=\int f(\mathbf {y} ,\mathbf {x} )\,d\mathbf {x} ,}$

o hacer predicciones de valores de for y , es decir, calcular ${\displaystyle x}$ ${\displaystyle s^{*}\in {\mathcal {S}}}$ ${\displaystyle s\not \in S}$

${\displaystyle f(x(s^{*})\mid y_{1},\dots ,y_{n}).}$

Formulación original

El método Vecchia original comienza con la observación de que la densidad conjunta de observaciones se puede escribir como un producto de distribuciones condicionales. ${\displaystyle f(\mathbf {y} )=\left(y_{1},\dots ,y_{n}\right)}$

${\displaystyle f(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1},\dots ,y_{1}).}$

La aproximación de Vecchia supone en cambio que para algunos ${\displaystyle k\ll n}$

${\displaystyle {\hat {f}}(\mathbf {y} )=f(y_{1})\prod _{i=2}^{n}f(y_{i}\mid y_{i-1},\dots ,y_{\max(i-k,1)}).}$

Vecchia también sugirió que la aproximación anterior se aplique a observaciones que se reordenan lexicográficamente utilizando sus coordenadas espaciales. Si bien su método simple tiene muchas debilidades, redujo la complejidad computacional a . Muchas de sus deficiencias fueron abordadas por las generalizaciones posteriores. ${\displaystyle {\mathcal {O}}(nk^{3})}$

formulación general

Si bien es conceptualmente simple, el supuesto de la aproximación de Vecchia a menudo resulta bastante restrictivo e inexacto. ^[4] Esto inspiró importantes generalizaciones y mejoras introducidas en la versión básica a lo largo de los años: la inclusión de variables latentes, un condicionamiento más sofisticado y un mejor ordenamiento. Se pueden describir diferentes casos especiales de la aproximación general de Vecchia en términos de cómo se seleccionan estos tres elementos. ^[5]

Variables latentes

Para describir extensiones del método Vecchia en su forma más general, defina y observe que se cumple lo mismo que en la sección anterior. ${\displaystyle z_{i}=(x_{i},y_{i})}$ ${\displaystyle \mathbf {z} =(z_{1},\dots ,z_{n})}$

${\displaystyle f(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid z_{1:i-1})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right)}$

porque dadas todas las demás variables son independientes de . ${\displaystyle x_{i}}$ ${\displaystyle y_{i}}$

Realizar pedidos

Se ha observado ampliamente que el orden lexicográfico original basado en coordenadas cuando es bidimensional produce malos resultados. ^[6] Más recientemente se han propuesto otros ordenamientos, algunos de los cuales aseguran que los puntos se ordenen de forma casi aleatoria. Altamente escalables, se ha demostrado que también mejoran drásticamente la precisión. ^[4] ${\displaystyle {\mathcal {S}}}$

Acondicionamiento

De manera similar a la versión básica descrita anteriormente, para un orden dado, una aproximación general de Vecchia se puede definir como

${\displaystyle {\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid z_{q(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right),}$

dónde . Dado que se deduce que desde sugiere que los términos se reemplacen con . Sin embargo, resulta que a veces el condicionamiento de algunas de las observaciones aumenta la escasez del factor de Cholesky de la matriz de precisión de . Por lo tanto, uno podría considerar conjuntos y tales que y expresar como ${\displaystyle q(i)\subset \left\{1,\dots ,i-1\right\}}$ ${\displaystyle y_{i}\perp x_{-i},y_{-i}\mid x_{i}}$ ${\displaystyle f(x_{i}\mid z_{q(i)})=f(x_{i}\mid x_{q}(i),y_{q}(i))=f(x_{i}\mid x_{q}(i))}$ ${\displaystyle f(x_{i}\mid z_{q(i)})}$ ${\displaystyle f(x_{i}\mid x_{q(i)})}$ ${\displaystyle z_{i}}$ ${\displaystyle (\mathbf {x} ,\mathbf {y} )}$ ${\displaystyle q_{y}(i)}$ ${\displaystyle q_{x}(i)}$ ${\displaystyle q(i)=q_{y}(i)\cup q_{x}(i)}$ ${\displaystyle {\hat {f}}}$

${\displaystyle {\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=2}^{n}f(x_{i}\mid x_{q_{x}(i)},y_{q_{y}(i)})\right)\left(\prod _{i=2}^{n}f(y_{i}\mid x_{i})\right).}$

Se han propuesto múltiples métodos de elección , en particular el proceso gaussiano del vecino más cercano (NNGP), ^[7] el proceso gaussiano mallado ^[8] y los enfoques de aproximación de resolución múltiple (MRA) que utilizan Vecchia estándar y Sparse General Vecchia donde ambos y no están vacíos. ^[5] ${\displaystyle q_{y}(i)}$ ${\displaystyle q_{x}(i)}$ ${\displaystyle q(i)=q_{x}(i)}$ ${\displaystyle q(i)=q_{y}(i)}$ ${\displaystyle q_{y}(i)}$ ${\displaystyle q_{x}(i)}$

Software

Se han desarrollado varios paquetes que implementan algunas variantes de la aproximación de Vecchia.

• GPvecchia es un paquete R disponible a través de CRAN que implementa la mayoría de las versiones de la aproximación de Vecchia.
• GpGp es un paquete R disponible a través de CRAN que implementa un método de ordenación escalable para problemas espaciales que mejora enormemente la precisión.
• spNNGP es un paquete R disponible a través de CRAN que implementa la aproximación latente de Vecchia.
• pyMRA es un paquete de Python disponible a través de pyPI que implementa la aproximación de resolución múltiple, un caso especial del método general Vecchia utilizado en modelos dinámicos de espacio de estados.
• meshed es un paquete R disponible a través de CRAN que implementa modelos de regresión multivariados espaciales o espaciotemporales bayesianos basados ​​en un proceso gaussiano mallado (MGP) latente utilizando aproximaciones de Vecchia en dominios particionados.

Notas

1. Vecchia, AV (1988). "Estimación e identificación de modelos para procesos espaciales continuos". Revista de la Royal Statistical Society, Serie B (Metodológica) . 50 (2): 297–312. doi :10.1111/j.2517-6161.1988.tb01729.x.
2. Pourahmadi, M. (2007). "Descomposiciones de Cholesky y estimación de una matriz de covarianza: ortogonalidad de los parámetros de correlación de varianza". Biometrika . 94 (4): 1006-1013. doi :10.1093/biomet/asm073. ISSN  0006-3444.
3. Khare, Kshitij; Rajaratnam, Bala (2011). "Distribuciones de Wishart para modelos de gráficos de covarianza descomponibles". Los anales de la estadística . 39 (1): 514–555. arXiv : 1103.1768 . doi : 10.1214/10-AOS841 . ISSN  0090-5364.
4. Guinness, Joseph (2018). "Métodos de permutación y agrupación para afinar las aproximaciones del proceso gaussiano". Tecnometría . 60 (4): 415–429. doi :10.1080/00401706.2018.1437476. ISSN  0040-1706. PMC 6707751 . PMID  31447491. 
5. Katzfuss, Matías; Guinness, José (2021). "Un marco general para las aproximaciones de Vecchia de los procesos gaussianos". Ciencia estadística . 36 . arXiv : 1708.06302 . doi :10.1214/19-STS755. S2CID  88522976.
6. Sudipto Banerjee; Bradley P. Carlin; Alan E. Gelfand (12 de septiembre de 2014). Modelado y análisis jerárquico de datos espaciales, segunda edición. Prensa CRC. ISBN 978-1-4398-1917-3.
7. Datta, Abhirup; Banerjee, Sudipto; Finley, Andrés; Gelfand, Alan (2016). "Modelos de procesos gaussianos jerárquicos del vecino más cercano para grandes datos espaciales". Revista de la Asociación Estadounidense de Estadística . 111 (514): 800–812. doi :10.1080/01621459.2015.1044091. PMC 5927603 . PMID  29720777. 
8. Peruzzi, Michele; Banerjee, Sudipto; Finley, Andrés (2020). "Modelado geoestadístico bayesiano altamente escalable mediante procesos gaussianos mallados en dominios particionados". Revista de la Asociación Estadounidense de Estadística . 117 (538): 969–982. arXiv : 2003.11208 . doi : 10.1080/01621459.2020.1833889. PMC 9354857 . PMID  35935897.