Prueba de razón de verosimilitud

Prueba estadística para comparar la bondad del ajuste.

En estadística , la prueba de razón de verosimilitud evalúa la bondad del ajuste de dos modelos estadísticos en competencia , específicamente uno encontrado por maximización en todo el espacio de parámetros y otro encontrado después de imponer alguna restricción , en función de la razón de sus probabilidades . Si la restricción (es decir, la hipótesis nula ) está respaldada por los datos observados , las dos probabilidades no deberían diferir en más que un error de muestreo . ^[1] Por lo tanto, la prueba de la razón de verosimilitud prueba si esta razón es significativamente diferente de uno, o de manera equivalente, si su logaritmo neperiano es significativamente diferente de cero.

La prueba de razón de verosimilitud, también conocida como prueba de Wilks , ^[2] es el más antiguo de los tres enfoques clásicos para la prueba de hipótesis, junto con la prueba del multiplicador de Lagrange y la prueba de Wald . ^[3] De hecho, los dos últimos pueden conceptualizarse como aproximaciones a la prueba de razón de verosimilitud y son asintóticamente equivalentes. ^{[4] [5] [6]} En el caso de comparar dos modelos, cada uno de los cuales no tiene parámetros desconocidos , el uso de la prueba de razón de verosimilitud puede justificarse mediante el lema de Neyman-Pearson . El lema demuestra que la prueba tiene la potencia más alta entre todos los competidores. ^[7]

Definición

General

Supongamos que tenemos un modelo estadístico con espacio de parámetros . Una hipótesis nula a menudo se establece diciendo que el parámetro se encuentra en un subconjunto específico de . Por tanto, la hipótesis alternativa es que se encuentra en el complemento de , es decir, en , que se denota por . El estadístico de prueba de razón de verosimilitud para la hipótesis nula viene dado por: ^[8] ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta ~\backslash ~\Theta _{0}}$ ${\displaystyle \Theta _{0}^{\text{c}}}$ ${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

donde la cantidad dentro de los paréntesis se llama razón de verosimilitud. Aquí, la notación se refiere al supremo . Como todas las probabilidades son positivas y el máximo restringido no puede exceder el máximo no restringido, la razón de verosimilitud está limitada entre cero y uno. ${\displaystyle \sup }$

A menudo, el estadístico de prueba de razón de verosimilitud se expresa como una diferencia entre las probabilidades logarítmicas

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

dónde

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

es el logaritmo de la función de verosimilitud maximizada , y es el valor máximo en el caso especial de que la hipótesis nula sea verdadera (pero no necesariamente un valor que maximice los datos muestreados) y ${\displaystyle {\mathcal {L}}}$ ${\displaystyle \ell (\theta _{0})}$ ${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~}$

denota los argumentos respectivos de los máximos y los rangos permitidos en los que están incrustados. Multiplicar por −2 garantiza matemáticamente que (según el teorema de Wilks ) converge asintóticamente a tener una distribución χ² si la hipótesis nula resulta ser cierta. ^[9] Las distribuciones de muestras finitas de las estadísticas de razones de verosimilitud son generalmente desconocidas. ^[10] ${\displaystyle \lambda _{\text{LR}}}$

La prueba de la razón de verosimilitud requiere que los modelos estén anidados , es decir, el modelo más complejo puede transformarse en el modelo más simple imponiendo restricciones a los parámetros del primero. Muchas estadísticas de prueba comunes son pruebas para modelos anidados y pueden expresarse como razones de verosimilitud logarítmica o aproximaciones de las mismas: por ejemplo, la prueba Z , la prueba F , la prueba G y la prueba chi-cuadrado de Pearson ; para ver una ilustración de la prueba t de una muestra , consulte a continuación.

Si los modelos no están anidados, entonces, en lugar de la prueba de razón de verosimilitud, existe una generalización de la prueba que normalmente se puede utilizar: para más detalles, consulte probabilidad relativa .

Caso de hipótesis simples

Una prueba de hipótesis simple versus simple tiene modelos completamente especificados tanto para la hipótesis nula como para la hipótesis alternativa, que por conveniencia se escriben en términos de valores fijos de un parámetro nocional : ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

En este caso, bajo cualquiera de las hipótesis, la distribución de los datos está completamente especificada: no hay parámetros desconocidos para estimar. Para este caso, está disponible una variante de la prueba de razón de verosimilitud: ^{[11] [12]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.}$

Algunas referencias más antiguas pueden utilizar el recíproco de la función anterior como definición. ^[13] Por lo tanto, el índice de verosimilitud es pequeño si el modelo alternativo es mejor que el modelo nulo.

La prueba de razón de verosimilitud proporciona la regla de decisión de la siguiente manera:

Si , no lo rechaces ; ${\displaystyle ~\Lambda >c~}$ ${\displaystyle H_{0}}$

Si , rechazar ; ${\displaystyle ~\Lambda <c~}$ ${\displaystyle H_{0}}$

Si , rechace con probabilidad . ${\displaystyle ~\Lambda =c~}$ ${\displaystyle H_{0}}$ ${\displaystyle ~q~}$

Los valores y generalmente se eligen para obtener un nivel de significancia específico , a través de la relación ${\displaystyle c}$ ${\displaystyle q}$ ${\displaystyle \alpha }$

${\displaystyle ~q~}$ ${\displaystyle \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

El lema de Neyman-Pearson establece que esta prueba de razón de verosimilitud es la más poderosa entre todas las pruebas de nivel para este caso. ^{[7] [12]} ${\displaystyle \alpha }$

Interpretación

La razón de verosimilitud es una función de los datos ; por lo tanto, es una estadística , aunque inusual porque el valor de la estadística depende de un parámetro . La prueba de razón de verosimilitud rechaza la hipótesis nula si el valor de este estadístico es demasiado pequeño. Qué tan pequeño es demasiado pequeño depende del nivel de significancia de la prueba, es decir, de qué probabilidad de error de Tipo I se considera tolerable (los errores de Tipo I consisten en el rechazo de una hipótesis nula que es verdadera). ${\displaystyle x}$ ${\displaystyle \theta }$

El numerador corresponde a la probabilidad de un resultado observado bajo la hipótesis nula . El denominador corresponde a la probabilidad máxima de un resultado observado, variando los parámetros en todo el espacio de parámetros. El numerador de esta relación es menor que el denominador; por lo tanto, el índice de probabilidad está entre 0 y 1. Los valores bajos del índice de probabilidad significan que era mucho menos probable que el resultado observado ocurriera bajo la hipótesis nula en comparación con la alternativa. Los valores altos del estadístico significan que el resultado observado tenía casi la misma probabilidad de ocurrir bajo la hipótesis nula que bajo la alternativa, por lo que la hipótesis nula no puede rechazarse.

Un ejemplo

El siguiente ejemplo es una adaptación y un resumen de Stuart, Ord y Arnold (1999, §22.2).

Supongamos que tenemos una muestra aleatoria, de tamaño n , de una población normalmente distribuida. Se desconocen tanto la media, μ , como la desviación estándar, σ , de la población. Queremos probar si la media es igual a un valor dado, μ ₀ .

Por lo tanto, nuestra hipótesis nula es H ₀ :  μ = μ ₀  y nuestra hipótesis alternativa es H ₁ :  μ ≠ μ ₀  . La función de probabilidad es

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

Con algunos cálculos (omitidos aquí), se puede demostrar que

${\displaystyle \lambda =\left(1+{\frac {t^{2}}{n-1}}\right)^{-n/2}}$

donde t es el estadístico t con n  − 1 grados de libertad. Por tanto, podemos utilizar la distribución exacta conocida de t _{n −1} para hacer inferencias.

Distribución asintótica: teorema de Wilks

Si la distribución del índice de verosimilitud correspondiente a una hipótesis nula y alternativa particular se puede determinar explícitamente, entonces se puede utilizar directamente para formar regiones de decisión (para sostener o rechazar la hipótesis nula). Sin embargo, en la mayoría de los casos, es muy difícil determinar la distribución exacta del índice de verosimilitud correspondiente a hipótesis específicas. ^{[ cita necesaria ]}

Suponiendo que H ₀ es verdadera, hay un resultado fundamental de Samuel S. Wilks : a medida que el tamaño de la muestra se acerca a , y si la hipótesis nula se encuentra estrictamente dentro del interior del espacio de parámetros, el estadístico de prueba definido anteriormente tendrá una distribución asintótica de chi-cuadrado. ( ) con grados de libertad iguales a la diferencia de dimensionalidad de y . ^[14] Esto implica que para una gran variedad de hipótesis, podemos calcular el índice de probabilidad de los datos y luego comparar lo observado con el valor correspondiente a una significación estadística deseada como una prueba estadística aproximada . Existen otras extensiones. ^{[ ¿cual? ]} ${\displaystyle n}$ ${\displaystyle \infty }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$

Ver también

• Criterio de información de Akaike
• factor de bayes
• prueba de johansen
• Selección de modelo
• La prueba de cercanía de Vuong
• Prueba Sup-LR
• Exponentes de error en la prueba de hipótesis.

Referencias

1. Rey, Gary (1989). Metodología política unificadora: la teoría de la probabilidad de la inferencia estadística. Nueva York: Cambridge University Press. pag. 84.ISBN _ 0-521-36697-6.
2. Li, Bing; Babu, G. Jogesh (2019). Un curso de posgrado sobre inferencia estadística . Saltador. pag. 331.ISBN _ 978-1-4939-9759-6.
3. Maddala, GS ; Lahiri, Kajal (2010). Introducción a la econometría (Cuarta ed.). Nueva York: Wiley. pag. 200.
4. Autobús, A. (1982). "Las pruebas del multiplicador de la relación de verosimilitud, Wald y Lagrange: una nota expositiva". El estadístico estadounidense . 36 (3a): 153-157. doi :10.1080/00031305.1982.10482817.
5. Encurtidos, Andrew (1985). Introducción al análisis de probabilidad. Norwich: WH Hutchins & Sons. págs. 24-27. ISBN 0-86094-190-6.
6. Severini, Thomas A. (2000). Métodos de verosimilitud en estadística . Nueva York: Oxford University Press. págs. 120-121. ISBN 0-19-850650-3.
7. Neyman, J .; Pearson, ES (1933), "Sobre el problema de las pruebas más eficientes de hipótesis estadísticas" (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode :1933RSPTA.231 ..289N, doi : 10.1098/rsta.1933.0009 , JSTOR  91247
8. Koch, Karl-Rudolf (1988). Estimación de parámetros y prueba de hipótesis en modelos lineales . Nueva York: Springer. pag. 306.ISBN _ 0-387-18840-1.
9. Silvey, SD (1970). Inferencia estadística . Londres: Chapman & Hall. págs. 112-114. ISBN 0-412-13820-4.
10. Mittelhammer, Ron C .; Juez, George G .; Molinero, Douglas J. (2000). Fundamentos econométricos . Nueva York: Cambridge University Press. pag. 66.ISBN _ 0-521-62394-4.
11. Estado de ánimo, mañana; Graybill, FA; Boes, CC (1974). Introducción a la Teoría de la Estadística (3ª ed.). McGraw-Hill . §9.2.
12. Stuart, A.; Ord, K.; Arnold, S. (1999), Teoría avanzada de la estadística de Kendall , vol. 2A, Arnold , §§20.10–20.13
13. Cox, DR ; Hinkley, DV (1974), Estadística teórica , Chapman & Hall , p. 92, ISBN 0-412-12420-3
14. Wilks, SS (1938). "La distribución de muestra grande del índice de verosimilitud para probar hipótesis compuestas". Anales de estadística matemática . 9 (1): 60–62. doi : 10.1214/aoms/1177732360 .

Otras lecturas

• Glover, Scott; Dixon, Peter (2004), "Razones de verosimilitud: una estadística simple y flexible para psicólogos empíricos", Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758/BF03196706 , PMID  15732688
• Celebrado, Leonhard; Sabanés Bové, Daniel (2014), Inferencia estadística aplicada: probabilidad y Bayes , Springer
• Kalbfleisch, JG (1985), Probabilidad e inferencia estadística , vol. 2, editorial Springer
• Perlman, Michael D.; Wu, Lang (1999), "Las nuevas pruebas del emperador", Statistical Science , 14 (4): 355–381, doi : 10.1214/ss/1009212517
• Perneger, Thomas V. (2001), "Caminando la evidencia: los índices de verosimilitud son alternativas a los valores de P", The BMJ , 322 (7295): 1184–5, doi :10.1136/bmj.322.7295.1184, PMC  1120301 , PMID  11379590
• Pinheiro, José C.; Bates, Douglas M. (2000), Modelos de efectos mixtos en S y S-PLUS , Springer-Verlag , págs. 82–93
• Solomon, Daniel L. (1975), "Una nota sobre la no equivalencia de las pruebas de Neyman-Pearson y de razón de verosimilitud generalizada para probar una hipótesis nula simple frente a una alternativa simple" (PDF ) , The American Statistician , 29 (2) : 101–102, doi :10.1080/00031305.1975.10477383, hdl : 1813/32605

enlaces externos

• Aplicación práctica de la prueba de razón de verosimilitud descrita
• Paquete R: Prueba de razón de probabilidad secuencial de Wald
• Calculadora clínica en línea de valores predictivos y ratios de verosimilitud de Richard Lowry