stringtranslate.com

Filtro de conjunto Kalman

El filtro de Kalman de conjunto ( EnKF ) es un filtro recursivo adecuado para problemas con una gran cantidad de variables, como discretizaciones de ecuaciones diferenciales parciales en modelos geofísicos. El EnKF se originó como una versión del filtro de Kalman para problemas grandes (esencialmente, la matriz de covarianza se reemplaza por la covarianza muestral ) y ahora es un importante componente de asimilación de datos del pronóstico por conjuntos . EnKF está relacionado con el filtro de partículas (en este contexto, una partícula es lo mismo que un miembro del conjunto), pero EnKF supone que todas las distribuciones de probabilidad involucradas son gaussianas ; cuando es aplicable, es mucho más eficiente que el filtro de partículas .

Introducción

El filtro conjunto de Kalman (EnKF) es una implementación de Monte Carlo del problema de actualización bayesiano : dada una función de densidad de probabilidad (PDF) del estado del sistema modelado (el anterior , llamado a menudo pronóstico en geociencias) y la probabilidad de los datos, Bayes El teorema se utiliza para obtener la PDF después de que se ha tenido en cuenta la probabilidad de los datos (el análisis posterior , a menudo llamado análisis). Esto se llama actualización bayesiana. La actualización bayesiana se combina con el avance del modelo en el tiempo, incorporando nuevos datos cada cierto tiempo. El filtro de Kalman original , introducido en 1960, [1] supone que todas las PDF son gaussianas (el supuesto gaussiano) y proporciona fórmulas algebraicas para el cambio de la media y la matriz de covarianza mediante la actualización bayesiana, así como una fórmula para hacer avanzar la media y covarianza en el tiempo siempre que el sistema sea lineal. Sin embargo, mantener la matriz de covarianza no es factible computacionalmente para sistemas de alta dimensión. Por este motivo, se desarrollaron los EnKF. [2] [3] Los EnKF representan la distribución del estado del sistema utilizando una colección de vectores de estado, llamado conjunto , y reemplazan la matriz de covarianza por la covarianza de muestra calculada a partir del conjunto. El conjunto se opera como si fuera una muestra aleatoria , pero los miembros del conjunto en realidad no son independientes , ya que todos comparten el EnKF. Una ventaja de los EnKF es que el avance de la PDF en el tiempo se logra simplemente haciendo avanzar a cada miembro del conjunto. [4]

Derivación

filtro de kalman

Denotemos el vector de estado dimensional de un modelo y supongamos que tiene una distribución de probabilidad gaussiana con media y covarianza , es decir, su PDF es

Aquí y abajo, significa proporcional; un PDF siempre se escala de modo que su integral en todo el espacio sea uno. Esto , llamado anterior , evolucionó con el tiempo mediante la ejecución del modelo y ahora debe actualizarse para tener en cuenta nuevos datos. Es natural suponer que se conoce la distribución del error de los datos; los datos tienen que venir con una estimación del error, de lo contrario no tienen sentido. Aquí, se supone que los datos tienen una PDF gaussiana con covarianza y media , donde está la llamada matriz de observación . La matriz de covarianza describe la estimación del error de los datos; si los errores aleatorios en las entradas del vector de datos son independientes, es diagonal y sus entradas diagonales son los cuadrados de la desviación estándar (“tamaño del error”) del error de las entradas correspondientes del vector de datos . El valor es el valor de los datos para el estado en ausencia de errores de datos. Entonces la densidad de probabilidad de los datos condicionales del estado del sistema , llamada probabilidad de los datos , es

La PDF del estado y la probabilidad de los datos se combinan para dar la nueva densidad de probabilidad del estado del sistema condicionada al valor de los datos (el posterior ) según el teorema de Bayes .

Los datos se fijan una vez que se reciben, por lo que se indica el estado posterior con en lugar de y el PDF posterior con . Se puede demostrar mediante manipulaciones algebraicas [5] que la FDP posterior también es gaussiana,

con la media posterior y la covarianza dadas por las fórmulas de actualización de Kalman

dónde

es la llamada matriz de ganancia de Kalman .

Conjunto de filtro Kalman

El EnKF es una aproximación de Monte Carlo del filtro de Kalman, que evita evolucionar la matriz de covarianza de la PDF del vector de estado . En cambio, el PDF está representado por un conjunto

es una matriz cuyas columnas son los miembros del conjunto y se llama conjunto anterior . Idealmente, los miembros del conjunto formarían una muestra de la distribución anterior. Sin embargo, los miembros del conjunto no son en general independientes excepto en el conjunto inicial, ya que cada paso de EnKF los une. Se consideran aproximadamente independientes y todos los cálculos se realizan como si realmente fueran independientes.

Replicar los datos en una matriz.

de modo que cada columna consta del vector de datos más un vector aleatorio de la distribución normal dimensional . Si, además, las columnas de son una muestra de la distribución de probabilidad anterior , entonces las columnas de

Forme una muestra a partir de la distribución de probabilidad posterior . Para ver esto en el caso escalar con : Let y Then

.

La primera suma es la media posterior, y la segunda suma, en vista de la independencia, tiene una varianza

,

que es la varianza posterior.

El EnKF ahora se obtiene simplemente reemplazando la covarianza de estado en la matriz de ganancia de Kalman por la covarianza de muestra calculada a partir de los miembros del conjunto (llamada covarianza del conjunto ), [6] es decir:

Implementación

Formulación básica

Aquí seguimos. [7] [8] Supongamos que la matriz de conjunto y la matriz de datos son las anteriores. La media del conjunto y la covarianza son

dónde

y denota la matriz de todos los del tamaño indicado.

El conjunto posterior viene entonces dado por

donde la matriz de datos perturbados es la anterior.

Tenga en cuenta que, dado que es una matriz de covarianza, siempre es semidefinida positiva y generalmente definida positiva , por lo que existe lo inverso anterior y la fórmula se puede implementar mediante la descomposición de Cholesky . [9] En, [7] [8] se reemplaza por la covarianza muestral donde y la inversa se reemplaza por una pseudoinversa , calculada mediante la descomposición en valores singulares (SVD).

Dado que estas fórmulas son operaciones matriciales con operaciones dominantes de Nivel 3 , [10] son ​​adecuadas para una implementación eficiente utilizando paquetes de software como LAPACK (en computadoras en serie y con memoria compartida ) y ScaLAPACK (en computadoras con memoria distribuida ). [9] En lugar de calcular la inversa de una matriz y multiplicarla por ella, es mucho mejor (varias veces más barato y también más preciso) calcular la descomposición de Cholesky de la matriz y tratar la multiplicación por la inversa como una solución de un sistema lineal. con muchos lados derechos simultáneos. [10]

Implementación sin matriz de observación

Dado que hemos reemplazado la matriz de covarianza con covarianza de conjunto, esto conduce a una fórmula más simple en la que las observaciones de conjunto se utilizan directamente sin especificar explícitamente la matriz . Más específicamente, defina una función de la forma

La función se llama función de observación o, en el contexto de problemas inversos , operador directo . El valor de es cuál sería el valor de los datos para el estado suponiendo que la medición sea exacta. Entonces el conjunto posterior se puede reescribir como

dónde

y

con

En consecuencia, la actualización del conjunto se puede calcular evaluando la función de observación de cada miembro del conjunto una vez y no es necesario conocer la matriz explícitamente. Esta fórmula también es válida [9] para una función de observación con un desplazamiento fijo , que tampoco es necesario conocer explícitamente. La fórmula anterior se ha utilizado comúnmente para una función de observación no lineal , como la posición de un vórtice de huracán . [11] En ese caso, la función de observación se aproxima esencialmente mediante una función lineal a partir de sus valores en los miembros del conjunto.

Implementación para una gran cantidad de puntos de datos.

Para una gran cantidad de puntos de datos, la multiplicación por se convierte en un cuello de botella. La siguiente fórmula alternativa es ventajosa cuando el número de puntos de datos es grande (como cuando se asimilan datos cuadriculados o de píxeles) y la matriz de covarianza de errores de datos es diagonal (que es el caso cuando los errores de datos no están correlacionados) o es barata de descomponer ( como bandas debido a la distancia de covarianza limitada). Usando la fórmula de Sherman-Morrison-Woodbury [12]

con

da

lo que requiere sólo la solución de sistemas con la matriz (que se supone barata) y de un sistema de tamaño con lados derechos. Consulte [9] para conocer el recuento de operaciones.

Otras ampliaciones

La versión EnKF descrita aquí implica la aleatorización de datos. Para filtros sin aleatorización de datos, consulte. [13] [14] [15]

Dado que la covarianza del conjunto tiene un rango deficiente (hay muchas más variables de estado, normalmente millones, que los miembros del conjunto, normalmente menos de cien), tiene términos grandes para pares de puntos que están espacialmente distantes. Dado que en realidad los valores de los campos físicos en ubicaciones distantes no están tan correlacionados , la matriz de covarianza se reduce artificialmente en función de la distancia, lo que da lugar a algoritmos EnKF localizados. [16] [17] Estos métodos modifican la matriz de covarianza utilizada en los cálculos y, en consecuencia, el conjunto posterior ya no está formado únicamente por combinaciones lineales del conjunto anterior.

Para problemas no lineales, EnKF puede crear un conjunto posterior con estados no físicos. Esto puede aliviarse mediante la regularización , como la penalización de estados con grandes gradientes espaciales . [6]

Para problemas con características coherentes, como huracanes , tormentas eléctricas , líneas de fuego , líneas de turbonada y frentes de lluvia , es necesario ajustar el estado del modelo numérico deformando el estado en el espacio (su cuadrícula), así como corrigiendo las amplitudes de estado de forma aditiva. . En 2007, Ravela et al. introducir el modelo de ajuste de amplitud y posición conjunta utilizando conjuntos y derivar sistemáticamente una aproximación secuencial que se puede aplicar tanto a EnKF como a otras formulaciones. [18] Su método no supone que las amplitudes y los errores de posición sean independientes o conjuntamente gaussianos, como lo hacen otros. El morphing EnKF emplea estados intermedios, obtenidos mediante técnicas tomadas del registro de imágenes y el morphing , en lugar de combinaciones lineales de estados. [19] [20]

Formalmente, los EnKF se basan en el supuesto gaussiano. En la práctica, también se pueden utilizar para problemas no lineales, donde es posible que no se cumpla el supuesto gaussiano. Los filtros relacionados que intentan relajar la suposición gaussiana en EnKF preservando al mismo tiempo sus ventajas incluyen filtros que ajustan la PDF de estado con múltiples núcleos gaussianos, [21] filtros que aproximan la PDF de estado mediante mezclas gaussianas, [22] una variante del filtro de partículas con cálculo de pesos de partículas mediante estimación de densidad , [20] y una variante del filtro de partículas con PDF de datos de cola gruesa para aliviar la degeneración del filtro de partículas . [23]

Ver también

Referencias

  1. ^ Kalman, RE (1960). "Un nuevo enfoque de los problemas de filtración y de predicción lineal". Revista de Ingeniería Básica . 82 (1): 35–45. doi : 10.1115/1.3662552. S2CID  1242324.
  2. ^ Evensen, G. (1994). "Asimilación de datos secuenciales con un modelo cuasigeostrófico no lineal utilizando métodos de Monte Carlo para pronosticar estadísticas de error". Revista de investigaciones geofísicas . 99 (C5): 143–162. Código bibliográfico : 1994JGR....9910143E. doi :10.1029/94JC00572. hdl : 1956/3035 .
  3. ^ Houtekamer, P.; Mitchell, HL (1998). "Asimilación de datos mediante una técnica de filtro conjunto de Kalman". Revisión meteorológica mensual . 126 (3): 796–811. Código Bib : 1998MWRv..126..796H. CiteSeerX 10.1.1.3.1706 . doi :10.1175/1520-0493(1998)126<0796:DAUAEK>2.0.CO;2. 
  4. ^ Para obtener un estudio de EnKF y técnicas de asimilación de datos relacionadas, consulte Evensen, G. (2007). Asimilación de datos: el filtro Ensemble Kalman . Berlín: Springer. ISBN 978-3-540-38300-0.
  5. ^ Anderson, BDO; Moore, JB (1979). Filtrado óptimo . Englewood Cliffs, Nueva Jersey: Prentice-Hall. ISBN 978-0-13-638122-8.
  6. ^ ab Johns, CJ; Mandel, J. (2008). "Un filtro Kalman conjunto de dos etapas para una asimilación fluida de datos". Estadísticas Ambientales y Ecológicas . 15 (1): 101–110. CiteSeerX 10.1.1.67.4916 . doi :10.1007/s10651-007-0033-0. S2CID  14820232. 
  7. ^ ab Hamburguesas, G.; van Leeuwen, PJ; Evensen, G. (1998). "Esquema de análisis en el filtro Ensemble Kalman". Revisión meteorológica mensual . 126 (6): 1719-1724. Código Bib : 1998MWRv..126.1719B. CiteSeerX 10.1.1.41.5827 . doi :10.1175/1520-0493(1998)126<1719:ASITEK>2.0.CO;2. 
  8. ^ ab Evensen, G. (2003). "El filtro Ensemble Kalman: formulación teórica e implementación práctica". Dinámica del océano . 53 (4): 343–367. Código Bib : 2003OcDyn..53..343E. CiteSeerX 10.1.1.5.6990 . doi :10.1007/s10236-003-0036-9. S2CID  129233333. 
  9. ^ abcd Mandel, J. (junio de 2006). "Implementación eficiente del filtro Ensemble Kalman" (PDF) . Centro de Informes de Matemática Computacional . 231 . Universidad de Colorado en Denver y Centro de Ciencias de la Salud.
  10. ^ ab Golub, GH ; Préstamo, CFV (1989). Cálculos matriciales (Segunda ed.). Baltimore: Universidad Johns Hopkins. Prensa. ISBN 978-0-8018-3772-2.
  11. ^ Chen, Y.; Snyder, C. (2007). "Asimilación de la posición del vórtice con un filtro Ensemble Kalman". Revisión meteorológica mensual . 135 (5): 1828–1845. Código Bib : 2007MWRv..135.1828C. doi : 10.1175/MWR3351.1 .
  12. ^ Hager, WW (1989). "Actualización de la inversa de una matriz". Revisión SIAM . 31 (2): 221–239. doi :10.1137/1031049.
  13. ^ Anderson, JL (2001). "Un filtro de Kalman de ajuste de conjunto para la asimilación de datos". Revisión meteorológica mensual . 129 (12): 2884–2903. Código Bib : 2001MWRv..129.2884A. CiteSeerX 10.1.1.5.9952 . doi :10.1175/1520-0493(2001)129<2884:AEAKFF>2.0.CO;2. 
  14. ^ Evensen, G. (2004). "Estrategias de muestreo y esquemas de análisis de raíz cuadrada para el EnKF". Dinámica del océano . 54 (6): 539–560. Código Bib : 2004OcDyn..54..539E. CiteSeerX 10.1.1.3.6213 . doi :10.1007/s10236-004-0099-2. S2CID  120171951. 
  15. ^ Tippett, MK; Anderson, JL; Obispo, CH; Hamill, TM; Whitaker, JS (2003). "Conjuntar filtros de raíz cuadrada". Revisión meteorológica mensual . 131 (7): 1485-1490. Código Bib : 2003MWRv..131.1485T. CiteSeerX 10.1.1.332.775 . doi :10.1175/1520-0493(2003)131<1485:ESRF>2.0.CO;2. 
  16. ^ Anderson, JL (2003). "Un marco de mínimos cuadrados local para el filtrado de conjuntos". Revisión meteorológica mensual . 131 (4): 634–642. Código Bib : 2003MWRv..131..634A. CiteSeerX 10.1.1.10.6543 . doi :10.1175/1520-0493(2003)131<0634:ALLSFF>2.0.CO;2. 
  17. ^ Ott, E .; cazar, BR; Szunyogh, I.; Zimin, AV; Kostelich, EJ; Corazza, M.; Kalnay, E .; Patil, D.; Yorke, JA (2004). "Un filtro de Kalman de conjunto local para la asimilación de datos atmosféricos". Tellus A. 56 (5): 415–428. arXiv : física/0203058 . Código Bib : 2004 TellA..56..415O. doi : 10.3402/tellusa.v56i5.14462. S2CID  218577557.
  18. ^ Ravela, S.; Emanuel, K .; McLaughlin, D. (2007). "Asimilación de datos por alineación de campos". Física . D: Fenómenos no lineales. 230 (1–2): 127–145. Código bibliográfico : 2007PhyD..230..127R. doi :10.1016/j.physd.2006.09.035.
  19. ^ Beezley, JD; Mandel, J. (2008). "Filtros Kalman del conjunto morphing". Tellus A. 60 (1): 131-140. arXiv : 0705.3693 . Código Bib : 2008 TellA..60..131B. doi :10.1111/j.1600-0870.2007.00275.x. S2CID  1009227.
  20. ^ ab Mandel, J.; Beezley, JD (noviembre de 2006). Filtros de conjunto predictor-corrector y de transformación para la asimilación de datos dispersos en sistemas no lineales de alta dimensión (PDF) . 11.º Simposio sobre sistemas integrados de observación y asimilación de la atmósfera, los océanos y la superficie terrestre (IOAS-AOLS), CD-ROM, documento 4.12, 87.ª reunión anual de la Sociedad Meteorológica Estadounidense, San Antonio, TX, enero de 2007. Informe 239 de la CCM . Universidad de Colorado en Denver y Centro de Ciencias de la Salud.
  21. ^ Anderson, JL; Anderson, SL (1999). "Una implementación de Monte Carlo del problema de filtrado no lineal para producir pronósticos y asimilaciones de conjuntos". Revisión meteorológica mensual . 127 (12): 2741–2758. Código Bib : 1999MWRv..127.2741A. doi :10.1175/1520-0493(1999)127<2741:AMCIOT>2.0.CO;2.
  22. ^ Bengtsson, T.; Snyder, C.; Nychka, D. (2003). "Hacia un filtro de conjunto no lineal para sistemas de alta dimensión". Revista de investigación geofísica: atmósferas . 108 (D24): STS 2–1–10. Código Bib : 2003JGRD..108.8775B. doi : 10.1029/2002JD002900 .
  23. ^ van Leeuwen, P. (2003). "Un filtro que minimiza la variación para aplicaciones a gran escala". Revisión meteorológica mensual . 131 (9): 2071–2084. Código Bib : 2003MWRv..131.2071V. CiteSeerX 10.1.1.7.3719 . doi :10.1175/1520-0493(2003)131<2071:AVFFLA>2.0.CO;2. 

enlaces externos