La asimilación de datos es una disciplina matemática que busca combinar de manera óptima la teoría (generalmente en forma de un modelo numérico) con las observaciones. Puede haber una serie de objetivos diferentes buscados: por ejemplo, determinar la estimación del estado óptimo de un sistema, determinar las condiciones iniciales para un modelo de pronóstico numérico, interpolar datos de observación dispersos utilizando conocimiento (por ejemplo, físico) del sistema que se está observando, establecer parámetros numéricos basados en el entrenamiento de un modelo a partir de datos observados. Dependiendo del objetivo, se pueden utilizar diferentes métodos de solución. La asimilación de datos se distingue de otras formas de aprendizaje automático, análisis de imágenes y métodos estadísticos en que utiliza un modelo dinámico del sistema que se está analizando.
La asimilación de datos se desarrolló inicialmente en el campo de la predicción numérica del tiempo . Los modelos numéricos de predicción del tiempo son ecuaciones que describen el comportamiento dinámico de la atmósfera, normalmente codificadas en un programa informático. Para utilizar estos modelos para hacer previsiones, se necesitan condiciones iniciales para el modelo que se asemejen lo más posible al estado actual de la atmósfera. La simple inserción de mediciones puntuales en los modelos numéricos no proporcionó una solución satisfactoria. Las mediciones del mundo real contienen errores debidos tanto a la calidad del instrumento como a la precisión con la que se conoce la posición de la medición. Estos errores pueden provocar inestabilidades en los modelos que eliminan cualquier nivel de habilidad en una previsión. Por tanto, se necesitaban métodos más sofisticados para inicializar un modelo utilizando todos los datos disponibles asegurándose de mantener la estabilidad en el modelo numérico. Dichos datos suelen incluir las mediciones, así como una previsión anterior válida en el mismo momento en que se realizan las mediciones. Si se aplica de forma iterativa, este proceso comienza a acumular información de observaciones pasadas en todas las previsiones posteriores.
Dado que la asimilación de datos surgió del campo de la predicción numérica del tiempo, en un principio ganó popularidad entre las geociencias. De hecho, una de las publicaciones más citadas en todas las geociencias es una aplicación de la asimilación de datos para reconstruir la historia observada de la atmósfera. [1]
Clásicamente, la asimilación de datos se ha aplicado a sistemas dinámicos caóticos que son demasiado difíciles de predecir utilizando métodos de extrapolación simples. La causa de esta dificultad es que pequeños cambios en las condiciones iniciales pueden dar lugar a grandes cambios en la precisión de la predicción. Esto se conoce a veces como el efecto mariposa : la dependencia sensible de las condiciones iniciales en la que un pequeño cambio en un estado de un sistema no lineal determinista puede dar lugar a grandes diferencias en un estado posterior.
En cualquier momento de actualización, la asimilación de datos generalmente toma un pronóstico (también conocido como la primera suposición o información de fondo ) y aplica una corrección al pronóstico con base en un conjunto de datos observados y errores estimados que están presentes tanto en las observaciones como en el pronóstico mismo. La diferencia entre el pronóstico y las observaciones en ese momento se llama la desviación o la innovación (ya que proporciona nueva información al proceso de asimilación de datos). Se aplica un factor de ponderación a la innovación para determinar qué cantidad de corrección se debe hacer al pronóstico con base en la nueva información de las observaciones. La mejor estimación del estado del sistema con base en la corrección al pronóstico determinada por un factor de ponderación multiplicado por la innovación se llama análisis . En una dimensión, calcular el análisis podría ser tan simple como formar un promedio ponderado de un valor pronosticado y observado. En múltiples dimensiones, el problema se vuelve más difícil. Gran parte del trabajo en la asimilación de datos se centra en estimar adecuadamente el factor de ponderación apropiado con base en un conocimiento intrincado de los errores en el sistema.
Las mediciones generalmente se realizan de un sistema del mundo real, en lugar de la representación incompleta de ese sistema en el modelo, por lo que se necesita una función especial llamada operador de observación (generalmente representado por h() para un operador no lineal o H para su linealización) para mapear la variable modelada a una forma que pueda compararse directamente con la observación.
Una de las perspectivas filosóficas matemáticas más comunes es considerar la asimilación de datos como un problema de estimación bayesiana. Desde esta perspectiva, el paso de análisis es una aplicación del teorema de Bayes y el procedimiento de asimilación general es un ejemplo de estimación bayesiana recursiva . Sin embargo, el análisis probabilístico suele simplificarse a una forma computacionalmente factible. El avance de la distribución de probabilidad en el tiempo se haría exactamente en el caso general mediante la ecuación de Fokker-Planck , pero eso no es factible para sistemas de alta dimensión; por lo tanto, se utilizan en su lugar varias aproximaciones que operan sobre representaciones simplificadas de las distribuciones de probabilidad. A menudo se supone que las distribuciones de probabilidad son gaussianas para que puedan representarse por su media y covarianza, lo que da lugar al filtro de Kalman .
Muchos métodos representan las distribuciones de probabilidad solo por la media e ingresan cierta covarianza precalculada. Un ejemplo de un método directo (o secuencial ) para calcular esto se llama interpolación estadística óptima, o simplemente interpolación óptima ( IO ). Un enfoque alternativo es resolver iterativamente una función de costo que resuelve un problema idéntico. Estos se llaman métodos variacionales , como 3D-Var y 4D-Var. Los algoritmos de minimización típicos son el método del gradiente conjugado o el método del residuo mínimo generalizado . El filtro de Kalman de conjunto es un método secuencial que utiliza un enfoque de Monte Carlo para estimar tanto la media como la covarianza de una distribución de probabilidad gaussiana mediante un conjunto de simulaciones. Más recientemente, las combinaciones híbridas de enfoques de conjunto y métodos variacionales se han vuelto más populares (por ejemplo, se utilizan para pronósticos operativos tanto en el Centro Europeo de Pronósticos Meteorológicos de Plazo Medio (ECMWF) como en los Centros Nacionales de Predicción Ambiental (NCEP) de la NOAA ).
La asimilación de datos también se puede lograr dentro de un ciclo de actualización del modelo, donde iteraremos un modelo inicial (o una estimación inicial) en un ciclo de optimización para restringir el modelo a los datos observados. Existen muchos enfoques de optimización y todos ellos se pueden configurar para actualizar el modelo; por ejemplo, los algoritmos evolutivos han demostrado ser eficientes porque no requieren hipótesis, pero son costosos desde el punto de vista computacional.
En las aplicaciones de predicción numérica del tiempo, la asimilación de datos es más conocida como un método para combinar observaciones de variables meteorológicas como la temperatura y la presión atmosférica con pronósticos previos para inicializar modelos de pronóstico numérico.
La atmósfera es un fluido . La idea de la predicción numérica del tiempo es tomar muestras del estado del fluido en un momento dado y utilizar las ecuaciones de la dinámica de fluidos y la termodinámica para estimar el estado del fluido en algún momento en el futuro. El proceso de introducir datos de observación en el modelo para generar las condiciones iniciales se denomina inicialización . En tierra, los mapas de terreno disponibles en resoluciones de hasta 1 kilómetro (0,6 mi) a nivel mundial se utilizan para ayudar a modelar las circulaciones atmosféricas dentro de regiones de topografía accidentada, con el fin de representar mejor características como vientos descendentes, ondas de montaña y nubosidad relacionada que afecta a la radiación solar entrante. [2] Los principales insumos de los servicios meteorológicos de los países son observaciones de dispositivos (llamados radiosondas ) en globos meteorológicos que miden varios parámetros atmosféricos y los transmiten a un receptor fijo, así como de satélites meteorológicos . La Organización Meteorológica Mundial actúa para estandarizar la instrumentación, las prácticas de observación y el tiempo de estas observaciones en todo el mundo. Las estaciones informan cada hora en los informes METAR , [3] o cada seis horas en los informes SYNOP . [4] Estas observaciones están espaciadas irregularmente, por lo que se procesan mediante métodos de asimilación de datos y análisis objetivo, que realizan un control de calidad y obtienen valores en ubicaciones utilizables por los algoritmos matemáticos del modelo. [5] Algunos modelos globales utilizan diferencias finitas , en las que el mundo se representa como puntos discretos en una cuadrícula regularmente espaciada de latitud y longitud; [6] otros modelos utilizan métodos espectrales que resuelven un rango de longitudes de onda. Luego, los datos se utilizan en el modelo como punto de partida para un pronóstico. [7]
Se utilizan diversos métodos para reunir datos de observación para su uso en modelos numéricos. Los sitios lanzan radiosondas en globos meteorológicos que se elevan a través de la troposfera y hasta la estratosfera . [8] La información de los satélites meteorológicos se utiliza cuando no se dispone de fuentes de datos tradicionales. El Departamento de Comercio proporciona informes de pilotos a lo largo de las rutas de las aeronaves [9] e informes de barcos a lo largo de las rutas de navegación. [10] Los proyectos de investigación utilizan aviones de reconocimiento para volar dentro y alrededor de los sistemas meteorológicos de interés, como los ciclones tropicales . [11] [12] Los aviones de reconocimiento también vuelan sobre los océanos abiertos durante la temporada fría en sistemas que causan una incertidumbre significativa en la guía de pronóstico, o se espera que tengan un alto impacto de tres a siete días en el futuro sobre el continente río abajo. [13] El hielo marino comenzó a inicializarse en los modelos de pronóstico en 1971. [14] Los esfuerzos para involucrar la temperatura de la superficie del mar en la inicialización del modelo comenzaron en 1972 debido a su papel en la modulación del clima en latitudes más altas del Pacífico. [15]
En 1922, Lewis Fry Richardson publicó el primer intento de pronosticar numéricamente el tiempo. Utilizando una variación hidrostática de las ecuaciones primitivas de Bjerknes , [16] Richardson produjo a mano un pronóstico de 6 horas para el estado de la atmósfera en dos puntos de Europa central, tardando al menos seis semanas en hacerlo. [17] Su pronóstico calculó que el cambio en la presión superficial sería de 145 milibares (4,3 inHg ), un valor poco realista incorrecto por dos órdenes de magnitud. El gran error fue causado por un desequilibrio en los campos de presión y velocidad del viento utilizados como condiciones iniciales en su análisis, [16] lo que indica la necesidad de un esquema de asimilación de datos.
En un principio, se había utilizado el "análisis subjetivo", en el que los meteorólogos ajustaban los pronósticos de predicción numérica del tiempo (NWP) utilizando su experiencia operativa. Luego se introdujo el "análisis objetivo" (por ejemplo, el algoritmo de Cressman) para la asimilación automática de datos. Estos métodos objetivos utilizaban enfoques de interpolación simples y, por lo tanto, [¿ por qué? ] eran métodos 3DDA (asimilación de datos tridimensionales).
Posteriormente se desarrollaron métodos 4DDA (asimilación de datos en cuatro dimensiones), llamados "nudging", como en el modelo MM5 . Se basan en la idea simple de la relajación newtoniana (el segundo axioma de Newton). Introducen en la parte derecha de las ecuaciones dinámicas del modelo un término que es proporcional a la diferencia entre la variable meteorológica calculada y el valor observado. Este término que tiene un signo negativo mantiene el vector de estado calculado más cerca de las observaciones. El nudging puede interpretarse como una variante del filtro Kalman-Bucy (una versión de tiempo continuo del filtro Kalman ) con la matriz de ganancia prescrita en lugar de obtenida a partir de covarianzas. [ cita requerida ]
Un avance importante lo logró L. Gandin (1963), que introdujo el método de "interpolación estadística" (o "interpolación óptima"), que desarrolló las ideas anteriores de Kolmogorov. Se trata de un método 3DDA y es un tipo de análisis de regresión que utiliza información sobre las distribuciones espaciales de las funciones de covarianza de los errores del campo de "primera aproximación" (previsión previa) y del "campo verdadero". Estas funciones nunca se conocen. Sin embargo, se supusieron las diferentes aproximaciones. [ cita requerida ]
El algoritmo de interpolación óptimo es la versión reducida del algoritmo de filtrado de Kalman (KF) y en el que las matrices de covarianza no se calculan a partir de las ecuaciones dinámicas sino que están predeterminadas de antemano.
Los intentos de introducir los algoritmos KF como una herramienta 4DDA para los modelos NWP llegaron más tarde. Sin embargo, esto fue (y sigue siendo) una tarea difícil porque la versión completa requiere la solución de la enorme cantidad de ecuaciones adicionales (~N*N~10**12, donde N=Nx*Ny*Nz es el tamaño del vector de estado, Nx~100, Ny~100, Nz~100 – las dimensiones de la cuadrícula computacional). Para superar esta dificultad, se desarrollaron filtros de Kalman aproximados o subóptimos. Estos incluyen el filtro de Kalman de conjunto y los filtros de Kalman de rango reducido (RRSQRT). [18]
Otro avance significativo en el desarrollo de los métodos 4DDA fue la utilización de la teoría de control óptimo (enfoque variacional) en los trabajos de Le Dimet y Talagrand (1986), basados en los trabajos previos de J.-L. Lions y G. Marchuk, siendo este último el primero en aplicar dicha teoría en el modelado ambiental. La ventaja significativa de los enfoques variacionales es que los campos meteorológicos satisfacen las ecuaciones dinámicas del modelo NWP y al mismo tiempo minimizan el funcional, caracterizando su diferencia con las observaciones. De esta manera, se resuelve el problema de minimización restringida. Los métodos variacionales 3DDA fueron desarrollados por primera vez por Sasaki (1958).
Como demostró Lorenc (1986), todos los métodos 4DDA mencionados anteriormente son equivalentes en algún límite, es decir, bajo algunos supuestos minimizan la misma función de costo . Sin embargo, en aplicaciones prácticas, estos supuestos nunca se cumplen, los diferentes métodos funcionan de manera diferente y, en general, no está claro qué enfoque (filtrado de Kalman o variacional) es mejor. Las preguntas fundamentales también surgen en la aplicación de las técnicas avanzadas de DA, como la convergencia del método computacional al mínimo global del funcional a minimizar. Por ejemplo, la función de costo o el conjunto en el que se busca la solución puede no ser convexo. El método 4DDA que actualmente es más exitoso [19] [20] es el 4D-Var incremental híbrido, donde se utiliza un conjunto para aumentar las covarianzas de error de fondo climatológico al comienzo de la ventana de tiempo de asimilación de datos, pero las covarianzas de error de fondo evolucionan durante la ventana de tiempo mediante una versión simplificada del modelo de pronóstico NWP. Este método de asimilación de datos se utiliza operativamente en centros de pronóstico como el Met Office . [21] [22]
El proceso de creación del análisis en la asimilación de datos a menudo implica la minimización de una función de costo . Una función de costo típica sería la suma de las desviaciones al cuadrado de los valores de análisis de las observaciones ponderadas por la precisión de las observaciones, más la suma de las desviaciones al cuadrado de los campos de pronóstico y los campos analizados ponderados por la precisión del pronóstico. Esto tiene el efecto de garantizar que el análisis no se aleje demasiado de las observaciones y pronósticos que se sabe que suelen ser confiables. [ cita requerida ]
donde denota la covarianza del error de fondo, la covarianza del error de observación.
siempre que sea un operador lineal (matriz).
Los factores que impulsan el rápido desarrollo de métodos de asimilación de datos para modelos NWP incluyen:
La asimilación de datos se ha utilizado en los años 1980 y 1990 en varios proyectos HAPEX (Experimento Piloto Hidrológico y Atmosférico) para monitorear las transferencias de energía entre el suelo, la vegetación y la atmósfera. Por ejemplo:
- HAPEX-MobilHy, [24] HAPEX-Sahel, [25]
- el experimento "Alpilles-ReSeDA" (Remote Sensing Data Assimilation), [26] [27] un proyecto europeo en el marco del programa FP4-ENV [28] que se llevó a cabo en la región de Alpilles , al sureste de Francia (1996-97). El diagrama de flujo (derecha), extraído del informe final de ese proyecto, [23] muestra cómo inferir variables de interés como el estado del dosel, los flujos radiativos, el presupuesto ambiental, la producción en cantidad y calidad, a partir de datos de teledetección e información auxiliar. En ese diagrama, las pequeñas flechas azul-verdes indican la forma directa en que los modelos realmente funcionan. [ cita requerida ] [29]
Los métodos de asimilación de datos también se utilizan actualmente en otros problemas de previsión medioambiental, por ejemplo, en la previsión hidrológica e hidrogeológica. [30] Las redes bayesianas también se pueden utilizar en un enfoque de asimilación de datos para evaluar peligros naturales como los deslizamientos de tierra. [31]
Dada la abundancia de datos de naves espaciales para otros planetas del sistema solar, la asimilación de datos ahora también se aplica más allá de la Tierra para obtener nuevos análisis del estado atmosférico de planetas extraterrestres. Marte es el único planeta extraterrestre al que se ha aplicado la asimilación de datos hasta ahora. Los datos de naves espaciales disponibles incluyen, en particular, recuperaciones de temperatura y espesores ópticos de polvo/agua/hielo del Espectrómetro de Emisión Térmica a bordo del Mars Global Surveyor de la NASA y el Mars Climate Sounder a bordo del Mars Reconnaissance Orbiter de la NASA . Se han aplicado dos métodos de asimilación de datos a estos conjuntos de datos: un esquema de Corrección de Análisis [32] y dos esquemas de Filtro de Kalman de Conjunto [33] [34], ambos utilizando un modelo de circulación global de la atmósfera marciana como modelo directo. El conjunto de datos de Asimilación de Datos de Corrección de Análisis de Marte (MACDA) está disponible públicamente en el Centro de Datos Atmosféricos Británico. [35]
La asimilación de datos es parte del desafío de cualquier problema de pronóstico.
El manejo de datos sesgados es un serio desafío en la asimilación de datos. Será de particular utilidad desarrollar métodos para abordar los sesgos. Si hay varios instrumentos que observan la misma variable, compararlos entre sí mediante funciones de distribución de probabilidad puede resultar instructivo. [ cita requerida ]
Los modelos de pronóstico numérico están adquiriendo una resolución mayor debido al aumento de la potencia computacional , con modelos atmosféricos operacionales que ahora funcionan con resoluciones horizontales del orden de 1 km (por ejemplo, en el Servicio Meteorológico Nacional Alemán, el Deutscher Wetterdienst ( DWD ) y la Met Office en el Reino Unido). Este aumento en las resoluciones horizontales está empezando a permitir resolver características más caóticas de los modelos no lineales, por ejemplo, para resolver la convección en la escala de la cuadrícula, o las nubes, en los modelos atmosféricos. Esta creciente no linealidad en los modelos y operadores de observación plantea un nuevo problema en la asimilación de datos. Los métodos de asimilación de datos existentes, como muchas variantes de filtros de Kalman de conjunto y métodos variacionales, bien establecidos con modelos lineales o casi lineales, se están evaluando en modelos no lineales.
Se están desarrollando muchos métodos nuevos, por ejemplo, filtros de partículas para problemas de alta dimensión y métodos híbridos de asimilación de datos. [36]
Otros usos incluyen la estimación de trayectoria para el programa Apolo , el GPS y la química atmosférica .
{{cite web}}
: CS1 maint: nombres numéricos: lista de autores ( enlace ){{cite journal}}
: Requiere citar revista |journal=
( ayuda ){{cite book}}
: |journal=
ignorado ( ayuda )Ejemplos de cómo se implementa la asimilación variacional en la previsión meteorológica en:
{{cite book}}
: |work=
ignorado ( ayuda )Otros ejemplos de asimilación: