Errores estándar consistentes con la heterocedasticidad

Varianzas asintóticas bajo heterocedasticidad

El tema de los errores estándar consistentes con la heterocedasticidad ( HC ) surge en estadística y econometría en el contexto de la regresión lineal y el análisis de series de tiempo . Estos también se conocen como errores estándar robustos a la heterocedasticidad (o simplemente errores estándar robustos ), errores estándar de Eicker-Huber-White (también errores estándar de Huber-White o errores estándar de White ), ^[1] para reconocer las contribuciones de Friedhelm Eicker , ^[2] Peter J. Huber , ^[3] y Halbert White . ^[4]

En la modelización de series temporales y de regresión, las formas básicas de los modelos utilizan el supuesto de que los errores o perturbaciones u _i tienen la misma varianza en todos los puntos de observación. Cuando no es así, se dice que los errores son heterocedásticos o que tienen heterocedasticidad , y este comportamiento se reflejará en los residuos estimados a partir de un modelo ajustado. Los errores estándar consistentes con la heterocedasticidad se utilizan para permitir el ajuste de un modelo que sí contiene residuos heterocedásticos. El primer enfoque de este tipo fue propuesto por Huber (1967), y desde entonces se han producido procedimientos mejorados para datos transversales, datos de series temporales y estimación GARCH . ${\textstyle {\widehat {u}}_{i}}$

Los errores estándar consistentes con la heterocedasticidad que difieren de los errores estándar clásicos pueden indicar una especificación incorrecta del modelo. La sustitución de errores estándar consistentes con la heterocedasticidad no resuelve esta especificación incorrecta, que puede generar sesgo en los coeficientes. En la mayoría de las situaciones, el problema debería encontrarse y solucionarse. ^[5] Otros tipos de ajustes de errores estándar, como los errores estándar agrupados o los errores estándar HAC , pueden considerarse como extensiones de los errores estándar HC.

Historia

Los errores estándar consistentes con la heterocedasticidad fueron introducidos por Friedhelm Eicker [ ^{6] [7]} y popularizados en econometría por Halbert White .

Problema

Considere el modelo de regresión lineal para el escalar . ${\displaystyle y}$

${\displaystyle y=\mathbf {x} ^{\top }{\boldsymbol {\beta }}+\varepsilon ,\,}$

donde es un vector columna k x 1 de variables explicativas (características), es un vector columna k × 1 de parámetros a estimar, y es el error residual . ${\displaystyle \mathbf {x} }$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \varepsilon }$

El estimador de mínimos cuadrados ordinarios (MCO) es

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} .\,}$

donde es un vector de observaciones , y denota la matriz de valores apilados observados en los datos. ${\displaystyle \mathbf {y} }$ ${\displaystyle y_{i}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} _{i}}$

Si los errores de muestra tienen varianza igual y no están correlacionados , entonces la estimación de mínimos cuadrados de es BLUE (mejor estimador lineal insesgado), y su varianza se estima con ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=s^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {\varepsilon }}_{i}^{2}}{n-k}}}$

¿Dónde están los residuos de la regresión? ${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\mathbf {x} _{i}^{\top }{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }}$

Cuando los términos de error no tienen varianza constante (es decir, el supuesto de es falso), el estimador MCO pierde sus propiedades deseables. La fórmula para la varianza ahora no se puede simplificar: ${\displaystyle \mathbb {E} [\mathbf {u} \mathbf {u} ^{\top }]=\sigma ^{2}\mathbf {I} _{n}}$

${\displaystyle \mathbb {V} \left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=\mathbb {V} {\big [}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} {\big ]}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Sigma } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$

dónde ${\displaystyle \mathbf {\Sigma } =\mathbb {V} [\mathbf {u} ].}$

Si bien el estimador puntual de MCO sigue siendo imparcial, no es el "mejor" en el sentido de tener un error cuadrático medio mínimo, y el estimador de varianza de MCO no proporciona una estimación consistente de la varianza de las estimaciones de MCO. ${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]}$

Sin embargo, para cualquier modelo no lineal (por ejemplo, los modelos logit y probit ), la heterocedasticidad tiene consecuencias más graves: las estimaciones de máxima verosimilitud de los parámetros estarán sesgadas (en una dirección desconocida), así como inconsistentes (a menos que la función de verosimilitud se modifique para tener en cuenta correctamente la forma precisa de heterocedasticidad). ^{[8] [9]} Como señaló Greene , “simplemente calcular una matriz de covarianza robusta para un estimador que de otro modo sería inconsistente no le da redención”. ^[10]

Solución

Si los errores de regresión son independientes, pero tienen varianzas distintas , entonces, que se puede estimar con . Esto proporciona el estimador de White (1980), a menudo denominado HCE (estimador consistente con la heterocedasticidad): ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \sigma _{i}^{2}}$ ${\displaystyle \mathbf {\Sigma } =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})}$ ${\displaystyle {\widehat {\sigma }}_{i}^{2}={\widehat {\varepsilon }}_{i}^{2}}$

${\displaystyle {\begin{aligned}{\hat {\mathbb {V} }}_{\text{HCE}}{\big [}{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}{\big ]}&={\frac {1}{n}}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\end{aligned}}}$

donde como se indica arriba se denota la matriz de valores apilados de los datos. El estimador se puede derivar en términos del método generalizado de momentos (GMM). ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} _{i}^{\top }}$

También se analiza a menudo en la literatura (incluido el artículo de White) la matriz de covarianza de la distribución límite consistente: ${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}}$ ${\displaystyle {\sqrt {n}}}$

${\displaystyle {\sqrt {n}}({\widehat {\boldsymbol {\beta }}}_{n}-{\boldsymbol {\beta }})\,\xrightarrow {d} \,{\mathcal {N}}(\mathbf {0} ,\mathbf {\Omega } ),}$

dónde

${\displaystyle \mathbf {\Omega } =\mathbb {E} [\mathbf {X} \mathbf {X} ^{\top }]^{-1}\mathbb {V} [\mathbf {X} {\boldsymbol {\varepsilon }}]\operatorname {\mathbb {E} } [\mathbf {X} \mathbf {X} ^{\top }]^{-1},}$

y

${\displaystyle {\begin{aligned}{\widehat {\mathbf {\Omega } }}_{n}&={\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=n(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\end{aligned}}}$

De este modo,

${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}=n\cdot {\hat {\mathbb {V} }}_{\text{HCE}}[{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}]}$

y

${\displaystyle {\widehat {\mathbb {V} }}[\mathbf {X} {\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}={\frac {1}{n}}\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} .}$

Precisamente qué matriz de covarianza es motivo de preocupación es una cuestión de contexto.

En MacKinnon y White (1985) se han propuesto estimadores alternativos que corrigen las varianzas desiguales de los residuos de regresión debido a diferentes apalancamientos . ^[11] A diferencia del estimador asintótico de White, sus estimadores son insesgados cuando los datos son homocedásticos.

De las cuatro opciones disponibles, a menudo denominadas HC0-HC3, la especificación HC3 parece funcionar mejor, con pruebas que se basan en el estimador HC3 que presenta mayor potencia y mayor proximidad al tamaño objetivo , especialmente en muestras pequeñas. Cuanto mayor sea la muestra, menor será la diferencia entre los diferentes estimadores. ^[12]

Una alternativa para modelar explícitamente la heterocedasticidad es usar un método de remuestreo como el bootstrap salvaje . Dado que el bootstrap estudentizado , que estandariza la estadística remuestreada por su error estándar, produce un refinamiento asintótico, ^[13] los errores estándar robustos a la heterocedasticidad siguen siendo útiles.

En lugar de tener en cuenta los errores heterocedásticos, la mayoría de los modelos lineales se pueden transformar para incluir términos de error homocedásticos (a menos que el término de error sea heterocedástico por construcción, por ejemplo, en un modelo de probabilidad lineal ). Una forma de hacerlo es utilizando mínimos cuadrados ponderados , que también presenta propiedades de eficiencia mejoradas.

Véase también

• Método delta
• Mínimos cuadrados generalizados
• Ecuaciones de estimación generalizadas
• Mínimos cuadrados ponderados , una formulación alternativa
• Prueba de White : una prueba para determinar si existe heterocedasticidad.
• Estimador de Newey-West
• Estimación de verosimilitud cuasi-máxima

Software

• EViews : La versión 8 de EViews ofrece tres métodos diferentes para mínimos cuadrados robustos: estimación M (Huber, 1973), estimación S (Rousseeuw y Yohai, 1984) y estimación MM (Yohai 1987). ^[14]
• Julia : el CovarianceMatricespaquete ofrece varios métodos para matrices de varianza-covarianza robustas heterocedásticas. ^[15]
• MATLAB : Véase la hacfunción en la caja de herramientas de Econometría. ^[16]
• Python : el paquete Statsmodel ofrece varias estimaciones robustas de error estándar; consulte statsmodels.regression.linear_model.RegressionResults para obtener más descripciones
• R : el vcovHC()comando del paquete sandwich . ^{[17] [18]}
• RATS : la opción robusterrors está disponible en muchos de los comandos de regresión y optimización ( linreg , nlls , etc.).
• Stata : robustopción aplicable en muchos procedimientos basados ​​en pseudoverosimilitud. ^[19]
• Gretl : la opción --robustde varios comandos de estimación (como ols) en el contexto de un conjunto de datos transversales produce errores estándar robustos. ^[20]

Referencias

1. Kleiber, C.; Zeileis, A. (2006). "Econometría aplicada con R" (PDF) . Conferencia UseR-2006 . Archivado desde el original (PDF) el 22 de abril de 2007.
2. Eicker, Friedhelm (1967). "Teoremas límite para regresión con errores desiguales y dependientes". Actas del quinto simposio de Berkeley sobre estadística matemática y probabilidad . Vol. 5. págs. 59–82. MR  0214223. Zbl  0217.51201.
3. Huber, Peter J. (1967). "El comportamiento de las estimaciones de máxima verosimilitud en condiciones no estándar". Actas del quinto simposio de Berkeley sobre estadística matemática y probabilidad . Vol. 5. págs. 221–233. MR  0216620. Zbl  0212.21504.
4. White, Halbert (1980). "Un estimador de matriz de covarianza consistente con la heterocedasticidad y una prueba directa de heterocedasticidad". Econometrica . 48 (4): 817–838. CiteSeerX 10.1.1.11.7646 . doi :10.2307/1912934. JSTOR  1912934. MR  0575027. 
5. King, Gary; Roberts, Margaret E. (2015). "Cómo los errores estándar robustos exponen problemas metodológicos que no solucionan, y qué hacer al respecto". Análisis político . 23 (2): 159–179. doi :10.1093/pan/mpu015. ISSN  1047-1987.
6. Eicker, F. (1963). "Normalidad asintótica y consistencia de los estimadores de mínimos cuadrados para familias de regresiones lineales". Anales de estadística matemática . 34 (2): 447–456. doi : 10.1214/aoms/1177704156 .
7. Eicker, Friedhelm (enero de 1967). "Teoremas límite para regresiones con errores desiguales y dependientes". Actas del quinto simposio de Berkeley sobre estadística matemática y probabilidad, volumen 1: Estadística . 5 (1): 59–83.
8. Giles, Dave (8 de mayo de 2013). "Errores estándar robustos para modelos no lineales". Econometrics Beat .
9. Guggisberg, Michael (2019). "Modelos de elección discreta mal especificados y errores estándar de Huber-White". Journal of Econometric Methods . 8 (1). doi :10.1515/jem-2016-0002.
10. Greene, William H. (2012). Análisis econométrico (séptima edición). Boston: Pearson Education. pp. 692–693. ISBN 978-0-273-75356-8.
11. MacKinnon, James G. ; White, Halbert (1985). "Algunos estimadores de matriz de covarianza consistentes con heterocedasticidad con propiedades de muestra finita mejoradas". Journal of Econometrics . 29 (3): 305–325. doi :10.1016/0304-4076(85)90158-7. hdl : 10419/189084 .
12. Long, J. Scott; Ervin, Laurie H. (2000). "Uso de errores estándar consistentes con la heterocedasticidad en el modelo de regresión lineal". The American Statistician . 54 (3): 217–224. doi :10.2307/2685594. ISSN  0003-1305.
13. C., Davison, Anthony (2010). Métodos bootstrap y su aplicación. Cambridge Univ. Press. ISBN 978-0-521-57391-7.OCLC 740960962  .{{cite book}}: CS1 maint: multiple names: authors list (link)
14. "Regresión robusta de EViews 8".
15. Matrices de covarianza: Estimadores robustos de matrices de covarianza
16. "Estimadores de covarianza consistentes con heterocedasticidad y autocorrelación". Caja de herramientas de econometría .
17. sandwich: Estimadores robustos de matrices de covarianza
18. Kleiber, cristiano; Zeileis, Achim (2008). Econometría aplicada con R. Nueva York: Springer. págs. 106-110. ISBN 978-0-387-77316-2.
19. Consulte la ayuda en línea para la opción _robust y el comando regress.
20. "Estimación robusta de la matriz de covarianza" (PDF) . Guía del usuario de Gretl, capítulo 19 .

Lectura adicional

• Freedman, David A. (2006). "Sobre el llamado 'estimador sándwich de Huber' y los 'errores estándar robustos'"". El estadístico estadounidense . 60 (4): 299–302. doi :10.1198/000313006X152207. S2CID  6222876.
• Hardin, James W. (2003). "La estimación sándwich de la varianza". En Fomby, Thomas B.; Hill, R. Carter (eds.). Estimación de máxima verosimilitud de modelos mal especificados: veinte años después . Ámsterdam: Elsevier. págs. 45–74. ISBN 0-7623-1075-8.
• Hayes, Andrew F.; Cai, Li (2007). "Uso de estimadores de error estándar consistentes con heterocedasticidad en regresión MCO: Introducción e implementación de software". Métodos de investigación del comportamiento . 39 (4): 709–722. doi : 10.3758/BF03192961 . PMID  18183883.
• King, Gary ; Roberts, Margaret E. (2015). "Cómo los errores estándar robustos exponen problemas metodológicos que no solucionan, y qué hacer al respecto". Análisis político . 23 (2): 159–179. doi :10.1093/pan/mpu015.
• Wooldridge, Jeffrey M. (2009). "Inferencia robusta a la heterocedasticidad después de la estimación por MCO". Introductory Econometrics : A Modern Approach (Cuarta edición). Mason: South-Western. págs. 265–271. ISBN 978-0-324-66054-8.
• Buja, Andreas, et al. "Modelos como aproximaciones: una conspiración de regresores aleatorios y desviaciones de modelos contra la inferencia clásica en regresión". Statistical Science (2015): 1. pdf