Prueba de puntuación

Prueba estadística basada en el gradiente de la función de verosimilitud

En estadística , la prueba de puntuación evalúa las restricciones de los parámetros estadísticos en función del gradiente de la función de verosimilitud —conocida como puntuación— evaluada en el valor del parámetro hipotético bajo la hipótesis nula . Intuitivamente, si el estimador restringido está cerca del máximo de la función de verosimilitud, la puntuación no debería diferir de cero en más de un error de muestreo . Si bien las distribuciones de muestra finita de las pruebas de puntuación son generalmente desconocidas, tienen una distribución asintótica χ 2 bajo la hipótesis nula, como lo demostró por primera vez CR Rao en 1948, ^[1] un hecho que se puede utilizar para determinar la significación estadística .

Dado que la maximización de funciones sujeta a restricciones de igualdad se realiza de manera más conveniente utilizando una expresión lagrangiana del problema, la prueba de puntaje puede entenderse de manera equivalente como una prueba de la magnitud de los multiplicadores de Lagrange asociados con las restricciones donde, nuevamente, si las restricciones no son vinculantes en la máxima verosimilitud, el vector de multiplicadores de Lagrange no debería diferir de cero en más de un error de muestreo. La equivalencia de estos dos enfoques fue demostrada por primera vez por SD Silvey en 1959, ^[2] lo que llevó al nombre de prueba de multiplicadores de Lagrange que se ha vuelto más comúnmente utilizado, particularmente en econometría, desde el artículo de 1980 de Breusch y Pagan , muy citado. ^[3]

La principal ventaja de la prueba de puntuación sobre la prueba de Wald y la prueba de razón de verosimilitud es que la prueba de puntuación solo requiere el cálculo del estimador restringido. ^[4] Esto hace que la prueba sea factible cuando la estimación de máxima verosimilitud sin restricciones es un punto límite en el espacio de parámetros . ^{[ cita requerida ]} Además, debido a que la prueba de puntuación solo requiere la estimación de la función de verosimilitud bajo la hipótesis nula, es menos específica que la prueba de razón de verosimilitud sobre la hipótesis alternativa. ^[5]

Prueba de un solo parámetro

La estadística

Sea la función de verosimilitud que depende de un parámetro univariado y sean los datos. La puntuación se define como ${\displaystyle L}$ ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle U(\theta )}$

${\displaystyle U(\theta )={\frac {\partial \log L(\theta \mid x)}{\partial \theta }}.}$

La información de Fisher es ^[6]

${\displaystyle I(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\right|\,\theta \right]\,,}$

donde ƒ es la densidad de probabilidad.

La estadística a probar es ${\displaystyle {\mathcal {H}}_{0}:\theta =\theta _{0}}$ ${\displaystyle S(\theta _{0})={\frac {U(\theta _{0})^{2}}{I(\theta _{0})}}}$

que tiene una distribución asintótica de , cuando es verdadera. Si bien es asintóticamente idéntico, calcular la estadística LM utilizando el estimador del producto del gradiente externo de la matriz de información de Fisher puede generar sesgo en muestras pequeñas. ^[7] ${\displaystyle \chi _{1}^{2}}$ ${\displaystyle {\mathcal {H}}_{0}}$

Nota sobre la notación

Tenga en cuenta que algunos textos utilizan una notación alternativa, en la que la estadística se prueba frente a una distribución normal. Este enfoque es equivalente y arroja resultados idénticos. ${\displaystyle S^{*}(\theta )={\sqrt {S(\theta )}}}$

Como prueba más poderosa para pequeñas desviaciones

${\displaystyle \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}\geq C}$

donde es la función de verosimilitud , es el valor del parámetro de interés bajo la hipótesis nula, y es un conjunto constante que depende del tamaño de la prueba deseada (es decir, la probabilidad de rechazar si es verdadero; ver error tipo I ). ${\displaystyle L}$ ${\displaystyle \theta _{0}}$ ${\displaystyle C}$ ${\displaystyle H_{0}}$ ${\displaystyle H_{0}}$

La prueba de puntuación es la prueba más potente para pequeñas desviaciones de . Para ver esto, considere la prueba versus . Por el lema de Neyman-Pearson , la prueba más potente tiene la forma ${\displaystyle H_{0}}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \theta =\theta _{0}+h}$

${\displaystyle {\frac {L(\theta _{0}+h\mid x)}{L(\theta _{0}\mid x)}}\geq K;}$

Tomando el logaritmo de ambos lados obtenemos

${\displaystyle \log L(\theta _{0}+h\mid x)-\log L(\theta _{0}\mid x)\geq \log K.}$

La prueba de puntuación sigue haciendo la sustitución (por desarrollo en serie de Taylor )

${\displaystyle \log L(\theta _{0}+h\mid x)\approx \log L(\theta _{0}\mid x)+h\times \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}}$

e identificando lo anterior con . ${\displaystyle C}$ ${\displaystyle \log(K)}$

Relación con otras pruebas de hipótesis

Si la hipótesis nula es verdadera, la prueba de razón de verosimilitud , la prueba de Wald y la prueba de puntuación son pruebas de hipótesis asintóticamente equivalentes. ^{[8] [9]} Al probar modelos anidados , las estadísticas para cada prueba convergen a una distribución de chi-cuadrado con grados de libertad iguales a la diferencia de grados de libertad en los dos modelos. Sin embargo, si la hipótesis nula no es verdadera, las estadísticas convergen a una distribución de chi-cuadrado no central con parámetros de no centralidad posiblemente diferentes.

Múltiples parámetros

Se puede derivar una prueba de puntuación más general cuando hay más de un parámetro. Supongamos que es la estimación de máxima verosimilitud de bajo la hipótesis nula mientras que y son respectivamente, el vector de puntuación y la matriz de información de Fisher. Entonces ${\displaystyle {\widehat {\theta }}_{0}}$ ${\displaystyle \theta }$ ${\displaystyle H_{0}}$ ${\displaystyle U}$ ${\displaystyle I}$

${\displaystyle U^{T}({\widehat {\theta }}_{0})I^{-1}({\widehat {\theta }}_{0})U({\widehat {\theta }}_{0})\sim \chi _{k}^{2}}$

asintóticamente bajo , donde es el número de restricciones impuestas por la hipótesis nula y ${\displaystyle H_{0}}$ ${\displaystyle k}$

${\displaystyle U({\widehat {\theta }}_{0})={\frac {\partial \log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta }}}$

y

${\displaystyle I({\widehat {\theta }}_{0})=-\operatorname {E} \left({\frac {\partial ^{2}\log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta \,\partial \theta '}}\right).}$

Esto se puede utilizar para probar . ${\displaystyle H_{0}}$

La fórmula real para la estadística de prueba depende de qué estimador de la matriz de información de Fisher se esté utilizando. ^[10]

Casos especiales

En muchas situaciones, la estadística de puntuación se reduce a otra estadística comúnmente utilizada. ^[11]

En la regresión lineal , la prueba del multiplicador de Lagrange se puede expresar como una función de la prueba F. ^[12]

Cuando los datos siguen una distribución normal, la estadística de puntuación es la misma que la estadística t . ^{[ aclaración necesaria ]}

Cuando los datos consisten en observaciones binarias, la estadística de puntuación es la misma que la estadística de chi-cuadrado en la prueba de chi-cuadrado de Pearson .

Véase también

• Información de Fisher
• La prueba más potente y uniforme
• Puntuación (estadísticas)
• Prueba Sup-LM

Referencias

1. Rao, C. Radhakrishna (1948). "Pruebas de hipótesis estadísticas con muestras grandes relativas a varios parámetros con aplicaciones a problemas de estimación". Mathematical Proceedings of the Cambridge Philosophical Society . 44 (1): 50–57. Bibcode :1948PCPS...44...50R. doi :10.1017/S0305004100023987.
2. Silvey, SD (1959). "La prueba del multiplicador de Lagrange". Anales de estadística matemática . 30 (2): 389–407. doi : 10.1214/aoms/1177706259 . JSTOR  2237089.
3. Breusch, TS ; Pagan, AR (1980). "La prueba del multiplicador de Lagrange y sus aplicaciones a la especificación de modelos en econometría". Review of Economic Studies . 47 (1): 239–253. doi :10.2307/2297111. JSTOR  2297111.
4. Fahrmeir, Ludwig; Kneib, Thomas; Lang, Stefan; Marx, Brian (2013). Regresión: modelos, métodos y aplicaciones . Berlín: Springer. pp. 663–664. ISBN 978-3-642-34332-2.
5. Kennedy, Peter (1998). A Guide to Econometrics (Cuarta edición). Cambridge: MIT Press. pág. 68. ISBN 0-262-11235-3.
6. Lehmann y Casella, ecuación (2.5.16).
7. Davidson, Russel; MacKinnon, James G. (1983). "Propiedades de muestras pequeñas de formas alternativas de la prueba del multiplicador de Lagrange". Economics Letters . 12 (3–4): 269–275. doi :10.1016/0165-1765(83)90048-4.
8. Engle, Robert F. (1983). "Pruebas de Wald, de razón de verosimilitud y multiplicador de Lagrange en econometría". En Intriligator, MD; Griliches, Z. (eds.). Manual de econometría . Vol. II. Elsevier. págs. 796–801. ISBN. 978-0-444-86185-6.
9. Burzykowski, Andrzej Gałecki, Tomasz (2013). Modelos lineales de efectos mixtos con R: un enfoque paso a paso . Nueva York, NY: Springer. ISBN 978-1-4614-3899-1.{{cite book}}: CS1 maint: multiple names: authors list (link)
10. Taboga, Marco. "Conferencias sobre teoría de la probabilidad y estadística matemática". statlect.com . Consultado el 31 de mayo de 2022 .
11. Cook, TD; DeMets, DL, eds. (2007). Introducción a los métodos estadísticos para ensayos clínicos . Chapman y Hall. págs. 296–297. ISBN 978-1-58488-027-1.
12. Vandaele, Walter (1981). "Pruebas de Wald, de razón de verosimilitud y de multiplicador de Lagrange como prueba F". Economics Letters . 8 (4): 361–365. doi :10.1016/0165-1765(81)90026-4.

Lectura adicional

• Buse, A. (1982). "Las pruebas de razón de verosimilitud, de Wald y de multiplicadores de Lagrange: una nota expositiva". The American Statistician . 36 (3a): 153–157. doi :10.1080/00031305.1982.10482817.
• Godfrey, LG (1988). "La prueba del multiplicador de Lagrange y la prueba de errores de especificación: un análisis ampliado". Pruebas de errores de especificación en econometría . Nueva York: Cambridge University Press. pp. 69–99. ISBN 0-521-26616-5.
• Ma, Jun; Nelson, Charles R. (2016). "La superioridad de la prueba LM en una clase de modelos econométricos donde la prueba de Wald tiene un desempeño deficiente". Econometría de series temporales y componentes no observados . Oxford University Press. págs. 310–330. doi :10.1093/acprof:oso/9780199683666.003.0014. ISBN . 978-0-19-968366-6.
• Rao, CR (2005). "Prueba de puntuación: revisión histórica y desarrollos recientes". Avances en clasificación y selección, comparaciones múltiples y confiabilidad . Boston: Birkhäuser. págs. 3–20. ISBN 978-0-8176-3232-8.