Prueba de Wald

Prueba estadística

En estadística , la prueba de Wald (nombrada en honor a Abraham Wald ) evalúa las restricciones de los parámetros estadísticos en función de la distancia ponderada entre la estimación sin restricciones y su valor hipotético bajo la hipótesis nula , donde el peso es la precisión de la estimación. ^{[1] [2]} Intuitivamente, cuanto mayor sea esta distancia ponderada, menos probable es que la restricción sea verdadera. Si bien las distribuciones de muestra finita de las pruebas de Wald son generalmente desconocidas, ^{[3] : 138} tiene una distribución χ 2 asintótica bajo la hipótesis nula, un hecho que se puede utilizar para determinar la significancia estadística . ^[4]

Junto con la prueba del multiplicador de Lagrange y la prueba de razón de verosimilitud , la prueba de Wald es uno de los tres enfoques clásicos para la prueba de hipótesis . Una ventaja de la prueba de Wald sobre las otras dos es que solo requiere la estimación del modelo sin restricciones, lo que reduce la carga computacional en comparación con la prueba de razón de verosimilitud. Sin embargo, una desventaja importante es que (en muestras finitas) no es invariante a los cambios en la representación de la hipótesis nula; en otras palabras, expresiones algebraicamente equivalentes de restricción de parámetros no lineales pueden conducir a diferentes valores de la estadística de prueba. ^{[5] [6]} Esto se debe a que la estadística de Wald se deriva de una expansión de Taylor , ^[7] y diferentes formas de escribir expresiones no lineales equivalentes conducen a diferencias no triviales en los coeficientes de Taylor correspondientes. ^[8] Otra aberración, conocida como el efecto Hauck-Donner, ^[9] puede ocurrir en modelos binomiales cuando el parámetro estimado (sin restricciones) está cerca del límite del espacio de parámetros (por ejemplo, una probabilidad ajustada que está extremadamente cerca de cero o uno), lo que da como resultado que la prueba de Wald ya no aumente monótonamente en la distancia entre el parámetro sin restricciones y el restringido. ^{[10] [11]}

Detalles matemáticos

En la prueba de Wald, el valor estimado que se encontró como argumento maximizador de la función de verosimilitud sin restricciones se compara con un valor hipotético . En particular, la diferencia al cuadrado se pondera por la curvatura de la función de verosimilitud logarítmica. ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta _{0}}$ ${\displaystyle {\hat {\theta }}-\theta _{0}}$

Prueba en un solo parámetro

Si la hipótesis implica sólo una restricción de un parámetro, entonces la estadística de Wald toma la siguiente forma:

${\displaystyle W={\frac {{({\widehat {\theta }}-\theta _{0})}^{2}}{\operatorname {var} ({\hat {\theta }})}}}$

que bajo la hipótesis nula sigue una distribución asintótica χ ² con un grado de libertad. La raíz cuadrada del estadístico de Wald de restricción simple puede entenderse como una (pseudo) razón t que, sin embargo, en realidad no tiene una distribución t excepto para el caso especial de regresión lineal con errores distribuidos normalmente . ^[12] En general, sigue una distribución z asintótica . ^[13]

${\displaystyle {\sqrt {W}}={\frac {{\widehat {\theta }}-\theta _{0}}{\operatorname {se} ({\hat {\theta }})}}}$

donde es el error estándar (SE) de la estimación de máxima verosimilitud (MLE), la raíz cuadrada de la varianza. Hay varias formas de estimar de manera consistente la matriz de varianza que en muestras finitas conduce a estimaciones alternativas de errores estándar y estadísticas de prueba asociadas y valores p . ^{[3] : 129} La validez de seguir obteniendo una distribución asintóticamente normal después de conectar el estimador MLE de en el SE se basa en el teorema de Slutsky . ${\displaystyle \operatorname {se} ({\widehat {\theta }})}$ ${\displaystyle {\hat {\theta }}}$

Prueba(s) en múltiples parámetros

La prueba de Wald se puede utilizar para probar una única hipótesis sobre múltiples parámetros, así como para probar conjuntamente múltiples hipótesis sobre uno o varios parámetros. Sea nuestro estimador muestral de P parámetros (es decir, es un vector), que se supone que sigue asintóticamente una distribución normal con matriz de covarianza V , . La prueba de Q hipótesis sobre los P parámetros se expresa con una matriz  R : ${\displaystyle {\hat {\theta }}_{n}}$ ${\displaystyle {\hat {\theta }}_{n}}$ ${\displaystyle P\times 1}$  ${\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta )\,\xrightarrow {\mathcal {D}} \,N(0,V)}$ ${\displaystyle Q\times P}$

${\displaystyle H_{0}:R\theta =r}$

${\displaystyle H_{1}:R\theta \neq r}$

La distribución de la estadística de prueba bajo la hipótesis nula es

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)/Q\quad \xrightarrow {\mathcal {D}} \quad F(Q,n-P)\quad {\xrightarrow[{n\rightarrow \infty }]{\mathcal {D}}}\quad \chi _{Q}^{2}/Q,}$

lo que a su vez implica

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow[{n\rightarrow \infty }]{\mathcal {D}}}\quad \chi _{Q}^{2},}$

donde es un estimador de la matriz de covarianza. ^[14] ${\displaystyle {\hat {V}}_{n}}$

Prueba

Supongamos que . Entonces, por el teorema de Slutsky y por las propiedades de la distribución normal , multiplicando por R tiene la distribución: ${\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta )\,\xrightarrow {\mathcal {D}} \,N(0,V)}$

${\displaystyle R{\sqrt {n}}({\hat {\theta }}_{n}-\theta )={\sqrt {n}}(R{\hat {\theta }}_{n}-r)\,\xrightarrow {\mathcal {D}} \,N(0,RVR')}$

Recordando que una forma cuadrática de distribución normal tiene una distribución Chi-cuadrado :

${\displaystyle {\sqrt {n}}(R{\hat {\theta }}_{n}-r)'[RVR']^{-1}{\sqrt {n}}(R{\hat {\theta }}_{n}-r)\,\xrightarrow {\mathcal {D}} \,\chi _{Q}^{2}}$

Reordenando n finalmente obtenemos:

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R(V/n)R']^{-1}(R{\hat {\theta }}_{n}-r)\quad \xrightarrow {\mathcal {D}} \quad \chi _{Q}^{2}}$

¿Qué sucede si la matriz de covarianza no se conoce a priori y se debe estimar a partir de los datos? Si tenemos un estimador consistente de tal que tiene un determinante que se distribuye , entonces, por la independencia del estimador de covarianza y la ecuación anterior, tenemos: ${\displaystyle {\hat {V}}_{n}}$ ${\displaystyle V}$ ${\displaystyle V^{-1}{\hat {V}}_{n}}$ ${\displaystyle \chi _{n-P}^{2}}$

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)/Q\quad \xrightarrow {\mathcal {D}} \quad F(Q,n-P)}$

Hipótesis no lineal

En la forma estándar, la prueba de Wald se utiliza para probar hipótesis lineales que se pueden representar mediante una única matriz  R. Si se desea probar una hipótesis no lineal de la forma:

${\displaystyle H_{0}:c(\theta )=0}$

${\displaystyle H_{1}:c(\theta )\neq 0}$

La estadística de prueba se convierte en:

${\displaystyle c\left({\hat {\theta }}_{n}\right)'\left[c'\left({\hat {\theta }}_{n}\right)\left({\hat {V}}_{n}/n\right)c'\left({\hat {\theta }}_{n}\right)'\right]^{-1}c\left({\hat {\theta }}_{n}\right)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}}$

donde es la derivada de c evaluada en el estimador muestral. Este resultado se obtiene utilizando el método delta , que utiliza una aproximación de primer orden de la varianza. ${\displaystyle c'({\hat {\theta }}_{n})}$

No invariancia a las re-parametrizaciones

El hecho de que se utilice una aproximación de la varianza tiene el inconveniente de que la estadística de Wald no es invariante a una transformación/reparametrización no lineal de la hipótesis: puede dar respuestas diferentes a la misma pregunta, dependiendo de cómo se formule la pregunta. ^{[15] [5]} Por ejemplo, preguntar si R  = 1 es lo mismo que preguntar si log  R  = 0; pero la estadística de Wald para R  = 1 no es la misma que la estadística de Wald para log  R  = 0 (porque en general no hay una relación clara entre los errores estándar de R y log  R , por lo que necesita ser aproximada). ^[16]

Alternativas a la prueba de Wald

Existen varias alternativas a la prueba de Wald, a saber, la prueba de razón de verosimilitud y la prueba del multiplicador de Lagrange (también conocida como prueba de puntuación). Robert F. Engle demostró que estas tres pruebas, la prueba de Wald, la prueba de razón de verosimilitud y la prueba del multiplicador de Lagrange son asintóticamente equivalentes . ^[17] Aunque son asintóticamente equivalentes, en muestras finitas, podrían discrepar lo suficiente como para llevar a conclusiones diferentes.

Hay varias razones para preferir la prueba de razón de verosimilitud o el multiplicador de Lagrange a la prueba de Wald: ^{[18] [19] [20]}

• No invariancia: como se argumentó anteriormente, la prueba de Wald no es invariante bajo reparametrización, mientras que las pruebas de razón de verosimilitud darán exactamente la misma respuesta ya sea que trabajemos con R , log  R o cualquier otra transformación  monótona de R . ^[5]
• La otra razón es que la prueba de Wald utiliza dos aproximaciones (que conocemos el error estándar o la información de Fisher y la estimación de máxima verosimilitud), mientras que la prueba de razón de verosimilitud depende únicamente de la relación de funciones de verosimilitud bajo la hipótesis nula y la hipótesis alternativa.
• La prueba de Wald requiere una estimación utilizando el argumento maximizador, correspondiente al modelo "completo". En algunos casos, el modelo es más simple bajo la hipótesis nula, por lo que se podría preferir utilizar la prueba de puntuación (también llamada prueba del multiplicador de Lagrange), que tiene la ventaja de que se puede formular en situaciones en las que la variabilidad del elemento maximizador es difícil de estimar o el cálculo de la estimación de acuerdo con el estimador de máxima verosimilitud es difícil; por ejemplo, la prueba de Cochran-Mantel-Haenzel es una prueba de puntuación. ^[21]

Véase también

• Prueba de Chow
• Prueba de razón de probabilidad secuencial
• Prueba de Sup-Wald
• Prueba t de Student
• Prueba t de Welch

Referencias

1. Fahrmeir, Ludwig; Kneib, Thomas; Lang, Stefan; Marx, Brian (2013). Regresión: modelos, métodos y aplicaciones. Berlín: Springer. pág. 663. ISBN 978-3-642-34332-2.
2. Ward, Michael D .; Ahlquist, John S. (2018). Máxima verosimilitud para las ciencias sociales: estrategias para el análisis. Cambridge University Press . pág. 36. ISBN. 978-1-316-63682-4.
3. Martin, Vance; Hurn, Stan; Harris, David (2013). Modelado econométrico con series temporales: especificación, estimación y prueba. Cambridge University Press. ISBN 978-0-521-13981-6.
4. Davidson, Russell; MacKinnon, James G. (1993). "El método de máxima verosimilitud: conceptos fundamentales y notación". Estimación e inferencia en econometría . Nueva York: Oxford University Press. pág. 89. ISBN 0-19-506011-3.
5. Gregory, Allan W.; Veall, Michael R. (1985). "Formulación de pruebas de Wald de restricciones no lineales". Econometrica . 53 (6): 1465–1468. doi :10.2307/1913221. JSTOR  1913221.
6. Phillips, PCB ; Park, Joon Y. (1988). "Sobre la formulación de pruebas de Wald de restricciones no lineales" (PDF) . Econometrica . 56 (5): 1065–1083. doi :10.2307/1911359. JSTOR  1911359.
7. Hayashi, Fumio (2000). Econometría. Princeton: Princeton University Press. pp. 489–491. ISBN 1-4008-2383-8.,
8. Lafontaine, Francine; White, Kenneth J. (1986). "Cómo obtener cualquier estadística de Wald que desee". Economics Letters . 21 (1): 35–40. doi :10.1016/0165-1765(86)90117-5.
9. Hauck, Walter W. Jr.; Donner, Allan (1977). "La prueba de Wald aplicada a hipótesis en análisis logit". Revista de la Asociación Estadounidense de Estadística . 72 (360a): 851–853. doi :10.1080/01621459.1977.10479969.
10. King, Maxwell L.; Goh, Kim-Leng (2002). "Mejoras en la prueba de Wald". Manual de econometría aplicada e inferencia estadística . Nueva York: Marcel Dekker. págs. 251–276. ISBN 0-8247-0652-8.
11. Yee, Thomas William (2022). "Sobre el efecto Hauck-Donner en las pruebas de Wald: detección, puntos de inflexión y caracterización del espacio de parámetros". Revista de la Asociación Estadounidense de Estadística . 117 (540): 1763–1774. arXiv : 2001.08431 . doi :10.1080/01621459.2021.1886936.
12. Cameron, A. Colin ; Trivedi, Pravin K. (2005). Microeconometría: métodos y aplicaciones. Nueva York: Cambridge University Press. p. 137. ISBN 0-521-84805-9.
13. Davidson, Russell; MacKinnon, James G. (1993). "El método de máxima verosimilitud: conceptos fundamentales y notación". Estimación e inferencia en econometría . Nueva York: Oxford University Press. pág. 89. ISBN 0-19-506011-3.
14. Harrell, Frank E. Jr. (2001). "Sección 9.3.1". Estrategias de modelado de regresión . Nueva York: Springer-Verlag. ISBN 0387952322.
15. Fears, Thomas R.; Benichou, Jacques; Gail, Mitchell H. (1996). "Un recordatorio de la falibilidad de la estadística de Wald". The American Statistician . 50 (3): 226–227. doi :10.1080/00031305.1996.10474384.
16. Critchley, Frank; Marriott, Paul; Salmon, Mark (1996). "Sobre la geometría diferencial de la prueba de Wald con restricciones no lineales". Econometrica . 64 (5): 1213–1222. doi :10.2307/2171963. hdl : 1814/524 . JSTOR  2171963.
17. Engle, Robert F. (1983). "Pruebas de Wald, de razón de verosimilitud y multiplicador de Lagrange en econometría". En Intriligator, MD; Griliches, Z. (eds.). Manual de econometría . Vol. II. Elsevier. págs. 796–801. ISBN. 978-0-444-86185-6.
18. Harrell, Frank E. Jr. (2001). "Sección 9.3.3". Estrategias de modelado de regresión . Nueva York: Springer-Verlag. ISBN 0387952322.
19. Collett, David (1994). Modelado de datos de supervivencia en la investigación médica . Londres: Chapman & Hall. ISBN 0412448807.
20. Pawitan, Yudi (2001). Con toda probabilidad . Nueva York: Oxford University Press. ISBN 0198507658.
21. Agresti, Alan (2002). Análisis de datos categóricos (2.ª ed.). Wiley. pág. 232. ISBN 0471360937.

Lectura adicional

• Greene, William H. (2012). Análisis econométrico (séptima edición internacional). Boston: Pearson. Págs. 155-161. ISBN. 978-0-273-75356-8.
• Kmenta, Jan (1986). Elementos de econometría (segunda edición). Nueva York: Macmillan. Págs. 492-493. ISBN. 0-02-365070-2.
• Thomas, RL (1993). Introducción a la econometría: teoría y aplicación (segunda edición). Londres: Longman. pp. 73–77. ISBN 0-582-07378-2.

Enlaces externos

• Prueba de Wald sobre los usos más antiguos conocidos de algunas palabras de las matemáticas