En estadística, econometría y procesamiento de señales, un modelo autorregresivo ( AR ) es una representación de un tipo de proceso aleatorio; como tal, se utiliza para describir ciertos procesos que varían en el tiempo en la naturaleza, la economía, el comportamiento, etc. El modelo autorregresivo especifica que la variable de salida depende linealmente de sus propios valores anteriores y de un término estocástico (un término imperfectamente predecible); por tanto, el modelo tiene la forma de una ecuación en diferencias estocástica (o relación de recurrencia) que no debe confundirse con una ecuación diferencial . Junto con el modelo de media móvil (MA) , es un caso especial y un componente clave de los modelos de series temporales más generales de media móvil autorregresiva (ARMA) y de media móvil autorregresiva integrada (ARIMA), que tienen un modelo estocástico más complicado. estructura; también es un caso especial del modelo vectorial autorregresivo (VAR), que consiste en un sistema de más de una ecuación en diferencias estocásticas entrelazadas en más de una variable aleatoria en evolución.
A diferencia del modelo de media móvil (MA), el modelo autorregresivo no siempre es estacionario, ya que puede contener una raíz unitaria.
Aunque los modelos de lenguaje grande se denominan autorregresivos, no son un modelo autorregresivo clásico en este sentido porque no son lineales.
Definición
La notación indica un modelo autorregresivo de orden p . El modelo AR( p ) se define como
donde están los parámetros del modelo y es el ruido blanco . [1] [2] Esto se puede escribir de manera equivalente usando el operador de retroceso B como
de modo que, moviendo el término de suma hacia el lado izquierdo y usando notación polinómica , tenemos
Se necesitan algunas restricciones de parámetros para que el modelo permanezca estacionario en sentido débil . Por ejemplo, los procesos en el modelo AR(1) no son estacionarios. De manera más general, para que un modelo AR( p ) sea estacionario en sentido débil, las raíces del polinomio deben estar fuera del círculo unitario , es decir, cada raíz (compleja) debe satisfacer (ver páginas 89,92 [3] ).
Efecto intertemporal de los shocks
En un proceso AR, un shock único afecta los valores de la variable en evolución en un futuro infinitamente lejano. Por ejemplo, considere el modelo AR(1) . Un valor distinto de cero para en el momento t =1 afecta en la cantidad . Luego, por la ecuación AR para en términos de , esto afecta por la cantidad . Luego, por la ecuación AR para en términos de , esto afecta por la cantidad . Continuar con este proceso muestra que el efecto de nunca termina, aunque si el proceso es estacionario entonces el efecto disminuye hacia cero en el límite.
Debido a que cada shock afecta los valores de X en un futuro infinitamente lejano desde el momento en que ocurren, cualquier valor dado X t se ve afectado por shocks que ocurren en un pasado infinitamente lejano. Esto también se puede ver reescribiendo la autorregresión.
(donde el término constante se ha suprimido asumiendo que la variable se ha medido como desviaciones de su media) como
Cuando se realiza la división polinomial en el lado derecho, el polinomio en el operador de retroceso aplicado tiene un orden infinito, es decir, un número infinito de valores rezagados de aparecen en el lado derecho de la ecuación.
donde B es el operador de retroceso , dónde está la función que define la autorregresión y dónde están los coeficientes de la autorregresión. La fórmula es válida solo si todas las raíces tienen multiplicidad 1. [ cita necesaria ]
La función de autocorrelación de un proceso AR( p ) es una suma de exponenciales decrecientes.
Cada raíz real aporta un componente a la función de autocorrelación que decae exponencialmente.
De manera similar, cada par de raíces conjugadas complejas contribuye con una oscilación amortiguada exponencialmente.
Gráficas de procesos AR( p )
El proceso AR más simple es AR(0), que no tiene dependencia entre los términos. Sólo el término error/innovación/ruido contribuye al resultado del proceso, por lo que en la figura, AR(0) corresponde al ruido blanco.
Para un proceso AR(1) con positivo , solo el término anterior del proceso y el término de ruido contribuyen a la salida. Si está cerca de 0, entonces el proceso todavía parece ruido blanco, pero a medida que se acerca a 1, la salida obtiene una contribución mayor del término anterior en relación con el ruido. Esto da como resultado un "suavizado" o integración de la salida, similar a un filtro de paso bajo .
Para un proceso AR(2), los dos términos anteriores y el término de ruido contribuyen a la salida. Si ambos y son positivos, la salida se parecerá a un filtro de paso bajo, con la parte de alta frecuencia del ruido disminuida. Si es positivo y negativo, entonces el proceso favorece los cambios de signo entre los términos del proceso. La salida oscila. Esto puede compararse con la detección de bordes o la detección de cambios de dirección.
Esta expresión es periódica debido a la naturaleza discreta de , que se manifiesta como el término coseno en el denominador. Si asumimos que el tiempo de muestreo ( ) es mucho menor que el tiempo de decaimiento ( ), entonces podemos usar una aproximación continua para :
donde es la frecuencia angular asociada con el tiempo de caída .
Se puede derivar una expresión alternativa para sustituyendo primero por en la ecuación que lo define. Continuar este proceso N veces produce
Para N que se acerca al infinito, se aproximará a cero y:
Se ve que el ruido blanco convoluciona con el núcleo más la media constante. Si el ruido blanco es un proceso gaussiano , entonces también lo es. En otros casos, el teorema del límite central indica que tendrá una distribución aproximadamente normal cuando esté cerca de uno.
Para , el proceso será una progresión geométrica ( crecimiento o decrecimiento exponencial ). En este caso, la solución se puede encontrar analíticamente: donde hay una constante desconocida ( condición inicial ).
Forma explícita de media/diferencia del proceso AR(1)
El modelo AR(1) es la analogía en tiempo discreto del proceso continuo de Ornstein-Uhlenbeck . Por lo tanto, a veces es útil comprender las propiedades del modelo AR(1) expresado en una forma equivalente. De esta forma, el modelo AR(1), con parámetro de proceso , viene dado por
, donde , es la media del modelo y es un proceso de ruido blanco con media cero y varianza constante .
Reescribiendo esto como y luego derivando (por inducción) , se puede demostrar que
y
.
Elegir el retraso máximo
La autocorrelación parcial de un proceso AR(p) es igual a cero en rezagos mayores que p, por lo que el rezago máximo apropiado p es aquel después del cual las autocorrelaciones parciales son todas cero.
Se basa en parámetros donde i = 1, ..., p . Existe una correspondencia directa entre estos parámetros y la función de covarianza del proceso, y esta correspondencia se puede invertir para determinar los parámetros de la función de autocorrelación (que a su vez se obtiene de las covarianzas). Esto se hace usando las ecuaciones de Yule-Walker.
Ecuaciones de Yule-Walker
Las ecuaciones de Yule-Walker, llamadas así por Udny Yule y Gilbert Walker , [5] [6] son el siguiente conjunto de ecuaciones. [7]
donde m = 0,…, p , dando p + 1 ecuaciones. Aquí está la función de autocovarianza de Xt , es la desviación estándar del proceso de ruido de entrada y es la función delta de Kronecker .
Debido a que la última parte de una ecuación individual es distinta de cero sólo si m = 0 , el conjunto de ecuaciones se puede resolver representando las ecuaciones para m > 0 en forma matricial, obteniendo así la ecuación
que se puede resolver para todos La ecuación restante para m = 0 es
que, una vez conocidos, pueden resolverse
Una formulación alternativa es en términos de la función de autocorrelación . Los parámetros AR están determinados por los primeros p +1 elementos de la función de autocorrelación. La función de autocorrelación completa se puede derivar calculando recursivamente [8]
Ejemplos de algunos procesos AR( p ) de orden bajo
p =1
Por eso
p =2
Las ecuaciones de Yule-Walker para un proceso AR(2) son
Recuerda eso
Usando la primera ecuación se obtiene
Usando la fórmula de recursividad se obtiene
Estimación de parámetros AR.
Las ecuaciones anteriores (las ecuaciones de Yule-Walker) proporcionan varias rutas para estimar los parámetros de un modelo AR( p ), reemplazando las covarianzas teóricas con valores estimados. [9] Algunas de estas variantes se pueden describir de la siguiente manera:
Estimación de autocovarianzas o autocorrelaciones. Aquí cada uno de estos términos se estima por separado, utilizando estimaciones convencionales. Hay diferentes maneras de hacer esto y la elección entre ellas afecta las propiedades del esquema de estimación. Por ejemplo, algunas elecciones pueden producir estimaciones negativas de la varianza.
Formulación como un problema de regresión de mínimos cuadrados en el que se construye un problema de predicción de mínimos cuadrados ordinario, basando la predicción de los valores de X t en los p valores anteriores de la misma serie. Esto puede considerarse como un esquema de predicción futura. Se puede ver que las ecuaciones normales para este problema corresponden a una aproximación de la forma matricial de las ecuaciones de Yule-Walker en las que cada aparición de una autocovarianza del mismo retraso se reemplaza por una estimación ligeramente diferente.
Formulación como una forma extendida del problema de predicción de mínimos cuadrados ordinarios. Aquí se combinan dos conjuntos de ecuaciones de predicción en un único esquema de estimación y un único conjunto de ecuaciones normales. Un conjunto es el conjunto de ecuaciones de predicción hacia adelante y el otro es un conjunto correspondiente de ecuaciones de predicción hacia atrás, relacionadas con la representación hacia atrás del modelo AR:
Aquí los valores predichos de X t se basarían en los p valores futuros de la misma serie. [ se necesita aclaración ] Esta forma de estimar los parámetros AR se debe a John Parker Burg, [10] y se llama método de Burg: [11] Burg y autores posteriores llamaron a estas estimaciones particulares "estimaciones de entropía máxima", [12] pero la El razonamiento detrás de esto se aplica al uso de cualquier conjunto de parámetros AR estimados. En comparación con el esquema de estimación que utiliza únicamente las ecuaciones de predicción directa, se producen diferentes estimaciones de las autocovarianzas y las estimaciones tienen diferentes propiedades de estabilidad. Las estimaciones de Burg están particularmente asociadas con la estimación espectral de máxima entropía . [13]
Otros enfoques posibles para la estimación incluyen la estimación de máxima verosimilitud . Están disponibles dos variantes distintas de máxima verosimilitud: en una (ampliamente equivalente al esquema de mínimos cuadrados de predicción directa) la función de verosimilitud considerada es la correspondiente a la distribución condicional de los valores posteriores de la serie dados los valores p iniciales de la serie; en el segundo, la función de verosimilitud considerada es la correspondiente a la distribución conjunta incondicional de todos los valores de la serie observada. Pueden ocurrir diferencias sustanciales en los resultados de estos enfoques si la serie observada es corta o si el proceso está cerca de la no estacionariedad.
Si hay un único pico espectral en f=0, a menudo se lo denomina ruido rojo . A medida que se acerca a 1, hay mayor potencia a bajas frecuencias, es decir, mayores desfases de tiempo. Este es entonces un filtro de paso bajo, cuando se aplica a la luz de espectro completo, se filtrará todo excepto la luz roja.
Si hay un mínimo en f=0, a menudo se lo denomina ruido azul . Esto actúa de manera similar como un filtro de paso alto, se filtrará todo excepto la luz azul.
RA(2)
El comportamiento de un proceso AR(2) está determinado enteramente por las raíces de su ecuación característica , que se expresa en términos del operador de retraso como:
De ello se deduce que los polos son valores de z que satisfacen:
,
cuyos rendimientos:
.
y son los recíprocos de las raíces características, así como los valores propios de la matriz de actualización temporal:
Los procesos AR(2) se pueden dividir en tres grupos dependiendo de las características de sus raíces/polos:
Cuando , el proceso tiene un par de polos conjugados complejos, creando un pico de frecuencia media en:
con ancho de banda alrededor del pico inversamente proporcional a los módulos de los polos:
Los términos que involucran raíces cuadradas son todos reales en el caso de polos complejos ya que existen sólo cuando .
De lo contrario, el proceso tiene raíces reales y:
Cuando actúa como un filtro de paso bajo sobre el ruido blanco con un pico espectral en
Cuando actúa como un filtro de paso alto en el ruido blanco con un pico espectral en .
El proceso no es estacionario cuando los polos están dentro o dentro del círculo unitario, o de manera equivalente cuando las raíces características están dentro o dentro del círculo unitario. El proceso es estable cuando los polos están estrictamente dentro del círculo unitario (las raíces estrictamente fuera del círculo unitario), o de manera equivalente cuando los coeficientes están en el triángulo .
La función PSD completa se puede expresar en forma real como:
Implementaciones en paquetes estadísticos.
R , el paquete de estadísticas incluye una función ar . [14]
R, el paquete astsa incluye una función sarima para adaptarse a varios modelos, incluidos los modelos AR. [15]
La Caja de herramientas de econometría [16] y la Caja de herramientas de identificación de sistemas [17] de MATLAB incluyen modelos autorregresivos [18]
Matlab y Octave : la caja de herramientas de TSA contiene varias funciones de estimación para modelos univariados, multivariados y autorregresivos adaptativos. [19]
PyMC3 : el marco de programación probabilística y estadística bayesiana admite modos autorregresivos con p lags.
bayesloop admite la inferencia de parámetros y la selección de modelos para el proceso AR-1 con parámetros que varían en el tiempo. [20]
Python : implementación en modelos de estadísticas. [21]
Respuesta impulsiva
La respuesta al impulso de un sistema es el cambio en una variable en evolución en respuesta a un cambio en el valor de un término de shock k períodos anteriores, en función de k . Dado que el modelo AR es un caso especial del modelo vectorial autorregresivo, aquí se aplica el cálculo de la respuesta al impulso en el vector autorregresión#respuesta al impulso .
n -previsión un paso adelante
Una vez que los parámetros de la autorregresión
Se han estimado, la autorregresión se puede utilizar para pronosticar un número arbitrario de períodos en el futuro. Primero utilice t para referirse al primer período para el cual los datos aún no están disponibles; sustituya los valores precedentes conocidos X t-i por i= 1, ..., p en la ecuación autorregresiva mientras establece el término de error igual a cero (porque pronosticamos que X t será igual a su valor esperado, y el valor esperado del término de error no observado es cero). El resultado de la ecuación autorregresiva es el pronóstico para el primer período no observado. A continuación, utilice t para referirse al siguiente período para el cual los datos aún no están disponibles; Nuevamente se usa la ecuación autorregresiva para hacer el pronóstico, con una diferencia: el valor de X un período anterior al que ahora se pronostica no se conoce, por lo que se usa en su lugar su valor esperado (el valor predicho que surge del paso de pronóstico anterior). . Luego, para períodos futuros se utiliza el mismo procedimiento, utilizando cada vez un valor de pronóstico más en el lado derecho de la ecuación predictiva hasta que, después de p predicciones, todos los p valores del lado derecho son valores predichos de los pasos anteriores.
Hay cuatro fuentes de incertidumbre con respecto a las predicciones obtenidas de esta manera: (1) incertidumbre sobre si el modelo autorregresivo es el modelo correcto; (2) incertidumbre sobre la exactitud de los valores pronosticados que se utilizan como valores rezagados en el lado derecho de la ecuación autorregresiva; (3) incertidumbre sobre los verdaderos valores de los coeficientes autorregresivos; y (4) incertidumbre sobre el valor del término de error para el período que se predice. Cada uno de los tres últimos puede cuantificarse y combinarse para dar un intervalo de confianza para las n predicciones de avance; el intervalo de confianza se hará más amplio a medida que n aumente debido al uso de un número cada vez mayor de valores estimados para las variables del lado derecho.
^ Caja, George EP (1994). Análisis de series temporales: previsión y control. Gwilym M. Jenkins, Gregory C. Reinsel (3ª ed.). Englewood Cliffs, Nueva Jersey: Prentice Hall. pag. 54.ISBN 0-13-060774-6. OCLC 28888762.
^ Shumway, Robert H. (2000). Análisis de series temporales y sus aplicaciones. David S. Stoffer. Nueva York: Springer. págs. 90–91. ISBN0-387-98950-1. OCLC 42392178. Archivado desde el original el 16 de abril de 2023 . Consultado el 3 de septiembre de 2022 .
^ Shumway, Robert H.; Stoffer, David (2010). Análisis de series de tiempo y sus aplicaciones: con ejemplos de R (3ª ed.). Saltador. ISBN978-1441978646.
^ Lai, Dihui; y Lu, Bingfeng; "Comprensión del modelo autorregresivo para series temporales como sistema dinámico determinista" Archivado el 24 de marzo de 2023 en Wayback Machine , en Predictive Analytics and Futurism , junio de 2017, número 15, junio de 2017, páginas 7-9
^ Yule, G. Udny (1927) "Sobre un método para investigar periodicidades en series perturbadas, con especial referencia a los números de manchas solares de Wolfer" Archivado el 14 de mayo de 2011 en Wayback Machine , Philosophical Transactions of the Royal Society of London , Ser. A, vol. 226, 267–298.]
^ Walker, Gilbert (1931) "Sobre la periodicidad en series de términos relacionados" Archivado el 7 de junio de 2011 en Wayback Machine , Actas de la Royal Society de Londres , Ser. A, vol. 131, 518–532.
^ Theodoridis, Sergios (10 de abril de 2015). "Capítulo 1. Probabilidad y Procesos Estocásticos". Aprendizaje automático: una perspectiva bayesiana y de optimización . Prensa académica, 2015. págs. 9–51. ISBN978-0-12-801522-3.
^ ab Von Storch, Hans; Zwiers, Francis W. (2001). Análisis estadístico en la investigación climática . Prensa de la Universidad de Cambridge. doi :10.1017/CBO9780511612336. ISBN0-521-01230-9.[ página necesaria ]
^ Eshel, Gidón. "Las ecuaciones de Yule Walker para los coeficientes AR" (PDF) . stat.wharton.upenn.edu . Archivado (PDF) desde el original el 13 de julio de 2018 . Consultado el 27 de enero de 2019 .
^ Burg, John Parker (1968); "Una nueva técnica de análisis para datos de series temporales", en Modern Spectrum Analysis (Editado por DG Childers), Instituto de Estudios Avanzados de Procesamiento de Señales de la OTAN con énfasis en Acústica Subacuática. IEEE Press, Nueva York.
^ Brockwell, Peter J.; Dahlhaus, Rainer; Trindade, A. Alexandre (2005). "Algoritmos de Burg modificados para autorregresión de subconjuntos multivariados" (PDF) . Estadística Sínica . 15 : 197–213. Archivado desde el original (PDF) el 21 de octubre de 2012.
^ Burg, John Parker (1967) "Análisis espectral de entropía máxima", Actas de la 37ª reunión de la Sociedad de Geofísicos de Exploración , Oklahoma City, Oklahoma.
^ Bos, Robert; De Waele, Stijn; Broersen, Piet MT (2002). "Estimación espectral autorregresiva mediante la aplicación del algoritmo de Burg a datos muestreados de forma irregular". Transacciones IEEE sobre instrumentación y medición . 51 (6): 1289. Código bibliográfico : 2002ITIM...51.1289B. doi :10.1109/TIM.2002.808031. Archivado desde el original el 16 de abril de 2023 . Consultado el 11 de diciembre de 2019 .
^ "Ajustar modelos autorregresivos a series temporales" Archivado el 28 de enero de 2016 en Wayback Machine (en R)
^ Stoffer, David; Poison, Nicky (9 de enero de 2023), astsa: análisis estadístico de series de tiempo aplicado , consultado el 20 de agosto de 2023
^ "Caja de herramientas de econometría". www.mathworks.com . Archivado desde el original el 16 de abril de 2023 . Consultado el 16 de febrero de 2022 .
^ "Caja de herramientas de identificación del sistema". www.mathworks.com . Archivado desde el original el 16 de febrero de 2022 . Consultado el 16 de febrero de 2022 .
^ "Modelo autorregresivo: MATLAB y Simulink". www.mathworks.com . Archivado desde el original el 16 de febrero de 2022 . Consultado el 16 de febrero de 2022 .
^ "La caja de herramientas de análisis de series temporales (TSA) para Octave y Matlab®". pub.ist.ac.at. Archivado desde el original el 11 de mayo de 2012 . Consultado el 3 de abril de 2012 .
^ "christophmark/bayesloop". 7 de diciembre de 2021. Archivado desde el original el 28 de septiembre de 2020 . Consultado el 4 de septiembre de 2018 a través de GitHub.
^ "statsmodels.tsa.ar_model.AutoReg - documentación de statsmodels 0.12.2". www.statsmodels.org . Archivado desde el original el 28 de febrero de 2021 . Consultado el 29 de abril de 2021 .
Referencias
Molinos, Terence C. (1990). Técnicas de series temporales para economistas . Prensa de la Universidad de Cambridge. ISBN 9780521343398.
Percival, Donald B.; Walden, Andrew T. (1993). Análisis espectral para aplicaciones físicas . Prensa de la Universidad de Cambridge. Código Bib : 1993sapa.book.....P.
Pandit, Sudhakar M.; Wu, Shien-Ming (1983). Análisis de series temporales y sistemas con aplicaciones . John Wiley e hijos.
enlaces externos
Análisis de autorregresión (AR) por Paul Bourke
Conferencia de econometría (tema: Modelos autorregresivos) en YouTube por Mark Thoma