Errores estándar consistentes con heterocedasticidad

Varianzas asintóticas bajo heterocedasticidad

El tema de los errores estándar consistentes con la heterocedasticidad ( HC ) surge en estadística y econometría en el contexto de la regresión lineal y el análisis de series de tiempo . Estos también se conocen como errores estándar robustos a la heterocedasticidad (o simplemente errores estándar robustos ), errores estándar de Eicker-Huber-White (también errores estándar de Huber-White o errores estándar de White ), ^[1] para reconocer las contribuciones de Friedhelm Eicker , ^{[ 2]} Peter J. Huber , ^[3] y Halbert White . ^[4]

En los modelos de regresión y series de tiempo, las formas básicas de modelos utilizan el supuesto de que los errores o perturbaciones u _i tienen la misma varianza en todos los puntos de observación. Cuando este no es el caso, se dice que los errores son heteroscedásticos, o tienen heterocedasticidad , y este comportamiento se reflejará en los residuos estimados a partir de un modelo ajustado. Los errores estándar consistentes con la heterocedasticidad se utilizan para permitir el ajuste de un modelo que contiene residuos heterocedasticos. El primero de estos enfoques fue propuesto por Huber (1967), y desde entonces se han producido procedimientos mejorados para datos transversales, datos de series temporales y estimación GARCH . ${\displaystyle {\widehat {u}}_{i}}$

Los errores estándar consistentes con la heterocedasticidad que difieren de los errores estándar clásicos pueden indicar una especificación errónea del modelo. La sustitución de errores estándar consistentes con la heterocedasticidad no resuelve esta especificación errónea, que puede generar sesgos en los coeficientes. En la mayoría de las situaciones, el problema debe encontrarse y solucionarse. ^[5] Otros tipos de ajustes de error estándar, como los errores estándar agrupados o los errores estándar HAC , pueden considerarse extensiones de los errores estándar HC.

Historia

Los errores estándar consistentes con la heterocedasticidad son introducidos por Friedhelm Eicker , ^{[6] [7]} y popularizados en econometría por Halbert White .

Problema

Considere el modelo de regresión lineal para el escalar . ${\displaystyle y}$

${\displaystyle y=\mathbf {x} ^{\top }{\boldsymbol {\beta }}+\varepsilon ,\,}$

donde es un vector de columna k x 1 de variables explicativas (características), es un vector de columna k x 1 de parámetros a estimar y es el error residual . ${\displaystyle \mathbf {x} }$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \varepsilon }$

El estimador de mínimos cuadrados ordinarios (OLS) es

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} .\,}$

donde es un vector de observaciones y denota la matriz de valores apilados observados en los datos. ${\displaystyle \mathbf {y} }$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} _{i}}$

Si los errores muestrales tienen igual varianza y no están correlacionados , entonces la estimación por mínimos cuadrados de es AZUL (mejor estimador lineal insesgado) y su varianza se estima con ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=s^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {\varepsilon }}_{i}^{2}}{n-k}}}$

¿Dónde están los residuos de regresión? ${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\mathbf {x} _{i}^{\top }{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }}$

Cuando los términos de error no tienen varianza constante (es decir, el supuesto de no es cierto), el estimador MCO pierde sus propiedades deseables. La fórmula de variación ahora no se puede simplificar: ${\displaystyle \mathbb {E} [\mathbf {u} \mathbf {u} ^{\top }]=\sigma ^{2}\mathbf {I} _{n}}$

${\displaystyle \mathbb {V} \left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=\mathbb {V} {\big [}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} {\big ]}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Sigma } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$

dónde ${\displaystyle \mathbf {\Sigma } =\mathbb {V} [\mathbf {u} ].}$

Si bien el estimador puntual MCO sigue siendo insesgado, no es "mejor" en el sentido de tener un error cuadrático medio mínimo, y el estimador de varianza MCO no proporciona una estimación consistente de la varianza de las estimaciones MCO. ${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]}$

Sin embargo, para cualquier modelo no lineal (por ejemplo, los modelos logit y probit ), la heterocedasticidad tiene consecuencias más graves: las estimaciones de máxima verosimilitud de los parámetros estarán sesgadas (en una dirección desconocida), así como inconsistentes (a menos que la función de verosimilitud sea modificado para tener en cuenta correctamente la forma precisa de heterocedasticidad). ^{[8] [9]} Como señaló Greene , “simplemente calcular una matriz de covarianza robusta para un estimador que de otro modo sería inconsistente no le da redención”. ^[10]

Solución

Si los errores de regresión son independientes, pero tienen varianzas distintas , entonces se pueden estimar con . Esto proporciona el estimador de White (1980), a menudo denominado HCE (estimador consistente con heterocedasticidad): ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \sigma _{i}^{2}}$ ${\displaystyle \mathbf {\Sigma } =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})}$ ${\displaystyle {\widehat {\sigma }}_{i}^{2}={\widehat {\varepsilon }}_{i}^{2}}$

${\displaystyle {\begin{aligned}{\hat {\mathbb {V} }}_{\text{HCE}}{\big [}{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}{\big ]}&={\frac {1}{n}}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\end{aligned}}}$

donde lo anterior denota la matriz de valores apilados de los datos. El estimador se puede derivar en términos del método generalizado de momentos (GMM). ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} _{i}^{\top }}$

También se analiza a menudo en la literatura (incluido el artículo de White) la matriz de covarianza de la distribución límite consistente: ${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}}$ ${\displaystyle {\sqrt {n}}}$

${\displaystyle {\sqrt {n}}({\widehat {\boldsymbol {\beta }}}_{n}-{\boldsymbol {\beta }})\,\xrightarrow {d} \,{\mathcal {N}}(\mathbf {0} ,\mathbf {\Omega } ),}$

dónde

${\displaystyle \mathbf {\Omega } =\mathbb {E} [\mathbf {X} \mathbf {X} ^{\top }]^{-1}\mathbb {V} [\mathbf {X} {\boldsymbol {\varepsilon }}]\operatorname {\mathbb {E} } [\mathbf {X} \mathbf {X} ^{\top }]^{-1},}$

y

${\displaystyle {\begin{aligned}{\widehat {\mathbf {\Omega } }}_{n}&={\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=n(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\end{aligned}}}$

De este modo,

${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}=n\cdot {\hat {\mathbb {V} }}_{\text{HCE}}[{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}]}$

y

${\displaystyle {\widehat {\mathbb {V} }}[\mathbf {X} {\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}={\frac {1}{n}}\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} .}$

Precisamente qué matriz de covarianza es de interés es una cuestión de contexto.

MacKinnon y White (1985) propusieron estimadores alternativos que corrigen las varianzas desiguales de los residuos de regresión debido a diferentes apalancamientos . ^[11] A diferencia del estimador asintótico de White, sus estimadores son insesgados cuando los datos son homocedásticos.

De las cuatro opciones diferentes ampliamente disponibles, a menudo denominadas HC0-HC3, la especificación HC3 parece funcionar mejor, y las pruebas que se basan en el estimador HC3 presentan mejor potencia y mayor proximidad al tamaño objetivo , especialmente en muestras pequeñas. Cuanto mayor sea la muestra, menor será la diferencia entre los diferentes estimadores. ^[12]

Una alternativa para modelar explícitamente la heterocedasticidad es utilizar un método de remuestreo como el wild bootstrap . Dado que el bootstrap estudentizado , que estandariza la estadística remuestreada por su error estándar, produce un refinamiento asintótico, ^[13] los errores estándar robustos a la heterocedasticidad siguen siendo útiles.

En lugar de tener en cuenta los errores heterocedásticos, la mayoría de los modelos lineales se pueden transformar para incluir términos de error homocedásticos (a menos que el término de error sea heterocedástico por construcción, por ejemplo, en un modelo de probabilidad lineal ). Una forma de hacerlo es utilizar mínimos cuadrados ponderados , que también presenta propiedades de eficiencia mejoradas.

Ver también

• método delta
• Mínimos cuadrados generalizados
• Ecuaciones de estimación generalizadas
• Mínimos cuadrados ponderados , una formulación alternativa
• Prueba de White : una prueba para determinar si hay heterocedasticidad.
• Estimador Newey-West
• Estimación de verosimilitud cuasi máxima

Software

• EViews : La versión 8 de EViews ofrece tres métodos diferentes para mínimos cuadrados robustos: estimación M (Huber, 1973), estimación S (Rousseeuw y Yohai, 1984) y estimación MM (Yohai 1987). ^[14]
• Julia : el CovarianceMatricespaquete ofrece varios métodos para matrices de covarianza de varianza robustas heterocedásticas. ^[15]
• MATLAB : vea la hacfunción en la caja de herramientas de Econometría. ^[dieciséis]
• Python : el paquete Statsmodel ofrece varias estimaciones de error estándar sólidas; consulte statsmodels.regression.linear_model.RegressionResults para obtener más descripciones.
• R : el vcovHC()comando del paquete sándwich . ^{[17] [18]}
• RATS : la opción robusterrors está disponible en muchos de los comandos de regresión y optimización ( linreg , nlls , etc.).
• Stata : robustopción aplicable en muchos procedimientos basados ​​en pseudoverosimilitud. ^[19]
• Gretl : la opción --robustde varios comandos de estimación (como ols) en el contexto de un conjunto de datos transversales produce errores estándar robustos. ^[20]

Referencias

1. Kleiber, C.; Zeileis, A. (2006). «Econometría Aplicada con R» (PDF) . Conferencia UseR-2006 . Archivado desde el original (PDF) el 22 de abril de 2007.
2. Eicker, Friedhelm (1967). "Teoremas de límite para la regresión con errores desiguales y dependientes". Actas del Quinto Simposio de Berkeley sobre probabilidad y estadística matemática . vol. 5. págs. 59–82. SEÑOR  0214223. Zbl  0217.51201.
3. Huber, Peter J. (1967). "El comportamiento de las estimaciones de máxima verosimilitud en condiciones no estándar". Actas del Quinto Simposio de Berkeley sobre probabilidad y estadística matemática . vol. 5. págs. 221–233. SEÑOR  0216620. Zbl  0212.21504.
4. Blanco, Halbert (1980). "Un estimador de matriz de covarianza consistente con heterocedasticidad y una prueba directa de heterocedasticidad". Econométrica . 48 (4): 817–838. CiteSeerX 10.1.1.11.7646 . doi :10.2307/1912934. JSTOR  1912934. SEÑOR  0575027. 
5. Rey, Gary; Roberts, Margaret E. (2015). "Cómo los errores estándar robustos exponen problemas metodológicos que no solucionan y qué hacer al respecto". Análisis Político . 23 (2): 159-179. doi : 10.1093/pan/mpu015. ISSN  1047-1987.
6. Eicker, F. (1963). "Normalidad asintótica y consistencia de los estimadores de mínimos cuadrados para familias de regresiones lineales". Los anales de la estadística matemática . 34 (2): 447–456. doi : 10.1214/aoms/1177704156 .
7. Eicker, Friedhelm (enero de 1967). "Teoremas de límite para regresiones con errores desiguales y dependientes". Actas del Quinto Simposio de Berkeley sobre Estadística Matemática y Probabilidad, Volumen 1: Estadística . 5 (1): 59–83.
8. Giles, Dave (8 de mayo de 2013). "Errores estándar robustos para modelos no lineales". Beat de econometría .
9. Guggisberg, Michael (2019). "Modelos de elección discreta mal especificados y errores estándar de Huber-White". Revista de métodos econométricos . 8 (1). doi :10.1515/jem-2016-0002.
10. Greene, William H. (2012). Análisis econométrico (Séptima ed.). Boston: Educación Pearson. págs. 692–693. ISBN 978-0-273-75356-8.
11. MacKinnon, James G .; Blanco, Halbert (1985). "Algunos estimadores de matrices de covarianza consistentes heterocedásticas con propiedades mejoradas de muestras finitas". Revista de Econometría . 29 (3): 305–325. doi :10.1016/0304-4076(85)90158-7. hdl : 10419/189084 .
12. Largo, J. Scott; Ervin, Laurie H. (2000). "Uso de errores estándar consistentes de heterocedasticidad en el modelo de regresión lineal". El estadístico estadounidense . 54 (3): 217–224. doi :10.2307/2685594. ISSN  0003-1305.
13. C., Davison, Anthony (2010). Métodos Bootstrap y su aplicación. Universidad de Cambridge. Prensa. ISBN 978-0-521-57391-7. OCLC  740960962.{{cite book}}: CS1 maint: multiple names: authors list (link)
14. "EViews 8 Regresión robusta".
15. CovarianceMatrices: estimadores robustos de matrices de covarianza
16. "Estimadores de covarianza consistentes con heterocedasticidad y autocorrelación". Caja de herramientas de econometría .
17. sándwich: Estimadores robustos de matrices de covarianza
18. Kleiber, cristiano; Zeileis, Achim (2008). Econometría aplicada con R. Nueva York: Springer. págs. 106-110. ISBN 978-0-387-77316-2.
19. Consulte la ayuda en línea para conocer la opción _robust y el comando de regresión.
20. "Estimación robusta de la matriz de covarianza" (PDF) . Guía del usuario de Gretl, capítulo 19 .

Otras lecturas

• Freedman, David A. (2006). "Sobre el llamado 'estimador sándwich de Huber' y los 'errores estándar robustos'". El estadístico estadounidense . 60 (4): 299–302. doi :10.1198/000313006X152207. S2CID  6222876.
• Hardin, James W. (2003). "La estimación sándwich de la varianza". En Fomby, Thomas B.; Hill, R. Carter (eds.). Estimación de máxima verosimilitud de modelos mal especificados: veinte años después . Ámsterdam: Elsevier. págs. 45–74. ISBN 0-7623-1075-8.
• Hayes, Andrew F.; Cai, Li (2007). "Uso de estimadores de error estándar consistentes con heterocedasticidad en la regresión MCO: introducción e implementación de software". Métodos de investigación del comportamiento . 39 (4): 709–722. doi : 10.3758/BF03192961 . PMID  18183883.
• Rey, Gary ; Roberts, Margaret E. (2015). "Cómo los errores estándar robustos exponen problemas metodológicos que no solucionan y qué hacer al respecto". Análisis Político . 23 (2): 159-179. doi : 10.1093/pan/mpu015.
• Wooldridge, Jeffrey M. (2009). "Inferencia robusta de heterocedasticidad después de la estimación MCO". Introducción a la econometría: un enfoque moderno (Cuarta ed.). Mason: suroeste. págs. 265-271. ISBN 978-0-324-66054-8.
• Buja, Andreas, et al. "Modelos como aproximaciones: una conspiración de regresores aleatorios y desviaciones de modelos contra la inferencia clásica en regresión". Ciencia estadística (2015): 1. pdf