Prueba de razón de verosimilitud

Prueba estadística que compara la bondad del ajuste

En estadística , la prueba de razón de verosimilitud es una prueba de hipótesis que implica comparar la bondad de ajuste de dos modelos estadísticos en competencia , típicamente uno encontrado por maximización sobre todo el espacio de parámetros y otro encontrado después de imponer alguna restricción , con base en la razón de sus probabilidades . Si el modelo más restringido (es decir, la hipótesis nula ) está respaldado por los datos observados , las dos probabilidades no deberían diferir en más que el error de muestreo . ^[1] Por lo tanto, la prueba de razón de verosimilitud prueba si esta razón es significativamente diferente de uno, o equivalentemente si su logaritmo natural es significativamente diferente de cero.

La prueba de razón de verosimilitud, también conocida como prueba de Wilks , ^[2] es la más antigua de las tres aproximaciones clásicas a las pruebas de hipótesis, junto con la prueba del multiplicador de Lagrange y la prueba de Wald . ^[3] De hecho, las dos últimas pueden conceptualizarse como aproximaciones a la prueba de razón de verosimilitud, y son asintóticamente equivalentes. ^{[4] [5] [6]} En el caso de comparar dos modelos, cada uno de los cuales no tiene parámetros desconocidos , el uso de la prueba de razón de verosimilitud puede justificarse mediante el lema de Neyman-Pearson . El lema demuestra que la prueba tiene la mayor potencia entre todos los competidores. ^[7]

Definición

General

Supongamos que tenemos un modelo estadístico con un espacio de parámetros . Una hipótesis nula se suele formular diciendo que el parámetro se encuentra en un subconjunto específico de . La hipótesis alternativa es, por tanto, que se encuentra en el complemento de , es decir, en , que se denota por . La estadística de prueba de razón de verosimilitud para la hipótesis nula se da por: ^[8] ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta ~\backslash ~\Theta _{0}}$ ${\displaystyle \Theta _{0}^{\text{c}}}$ ${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

donde la cantidad dentro de los corchetes se denomina razón de verosimilitud. Aquí, la notación se refiere al supremo . Como todas las probabilidades son positivas y el máximo restringido no puede superar al máximo no restringido, la razón de verosimilitud está limitada entre cero y uno. ${\displaystyle \sup }$

A menudo, la estadística de prueba de razón de verosimilitud se expresa como una diferencia entre las verosimilitudes logarítmicas.

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

dónde

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

es el logaritmo de la función de verosimilitud maximizada , y es el valor máximo en el caso especial de que la hipótesis nula sea verdadera (pero no necesariamente un valor que se maximice para los datos muestreados) y ${\displaystyle {\mathcal {L}}}$ ${\displaystyle \ell (\theta _{0})}$ ${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~}$

denotan los respectivos argumentos de los máximos y los rangos permitidos en los que están incluidos. Multiplicar por −2 asegura matemáticamente que (por el teorema de Wilks ) converge asintóticamente a estar distribuido χ ² si la hipótesis nula resulta ser verdadera. ^[9] Las distribuciones de muestras finitas de las estadísticas de razón de verosimilitud son generalmente desconocidas. ^[10] ${\displaystyle \lambda _{\text{LR}}}$

La prueba de razón de verosimilitud requiere que los modelos estén anidados , es decir, el modelo más complejo se puede transformar en el modelo más simple imponiendo restricciones a los parámetros del primero. Muchas estadísticas de prueba comunes son pruebas para modelos anidados y se pueden expresar como razones de verosimilitud logarítmica o aproximaciones de las mismas: por ejemplo, la prueba Z , la prueba F , la prueba G y la prueba de chi-cuadrado de Pearson ; para una ilustración con la prueba t de una muestra , consulte a continuación.

Si los modelos no están anidados, entonces en lugar de la prueba de razón de verosimilitud, hay una generalización de la prueba que generalmente se puede utilizar: para obtener más detalles, consulte verosimilitud relativa .

Caso de hipótesis simples

Una prueba de hipótesis simple versus simple tiene modelos completamente especificados tanto bajo la hipótesis nula como bajo la hipótesis alternativa, que por conveniencia se escriben en términos de valores fijos de un parámetro nocional : ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

En este caso, bajo cualquiera de las hipótesis, la distribución de los datos está completamente especificada: no hay parámetros desconocidos que estimar. Para este caso, se dispone de una variante de la prueba de razón de verosimilitud: ^{[11] [12]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.}$

Algunas referencias más antiguas pueden utilizar el recíproco de la función anterior como definición. ^[13] Por lo tanto, la razón de verosimilitud es pequeña si el modelo alternativo es mejor que el modelo nulo.

La prueba de razón de verosimilitud proporciona la regla de decisión de la siguiente manera:

Si , no rechaces ; ${\displaystyle ~\Lambda >c~}$ ${\displaystyle H_{0}}$

Si , rechazar ; ${\displaystyle ~\Lambda <c~}$ ${\displaystyle H_{0}}$

Si , rechaza con probabilidad . ${\displaystyle ~\Lambda =c~}$ ${\displaystyle H_{0}}$ ${\displaystyle ~q~}$

Los valores y se eligen normalmente para obtener un nivel de significancia especificado , a través de la relación ${\displaystyle c}$ ${\displaystyle q}$ ${\displaystyle \alpha }$

${\displaystyle ~q~}$ ${\displaystyle \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

El lema de Neyman-Pearson establece que esta prueba de razón de verosimilitud es la más poderosa entre todas las pruebas de nivel para este caso. ^{[7] [12]} ${\displaystyle \alpha }$

Interpretación

La razón de verosimilitud es una función de los datos ; por lo tanto, es una estadística , aunque inusual en el sentido de que el valor de la estadística depende de un parámetro, . La prueba de razón de verosimilitud rechaza la hipótesis nula si el valor de esta estadística es demasiado pequeño. Qué tan pequeño es demasiado pequeño depende del nivel de significación de la prueba, es decir, de qué probabilidad de error de tipo I se considera tolerable (los errores de tipo I consisten en el rechazo de una hipótesis nula que es verdadera). ${\displaystyle x}$ ${\displaystyle \theta }$

El numerador corresponde a la probabilidad de un resultado observado bajo la hipótesis nula . El denominador corresponde a la probabilidad máxima de un resultado observado, variando los parámetros en todo el espacio de parámetros. El numerador de este cociente es menor que el denominador; por lo tanto, el cociente de verosimilitud está entre 0 y 1. Los valores bajos del cociente de verosimilitud significan que el resultado observado era mucho menos probable de ocurrir bajo la hipótesis nula en comparación con la alternativa. Los valores altos del estadístico significan que el resultado observado era casi tan probable de ocurrir bajo la hipótesis nula como bajo la alternativa, y por lo tanto la hipótesis nula no puede rechazarse.

Un ejemplo

El siguiente ejemplo es una adaptación y un resumen de Stuart, Ord y Arnold (1999, §22.2).

Supongamos que tenemos una muestra aleatoria, de tamaño n , de una población que se distribuye normalmente. Tanto la media, μ , como la desviación estándar, σ , de la población son desconocidas. Queremos comprobar si la media es igual a un valor dado, μ ₀ .

Por lo tanto, nuestra hipótesis nula es H ₀ :  μ = μ ₀  y nuestra hipótesis alternativa es H ₁ :  μ ≠ μ ₀  . La función de verosimilitud es

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

Con algunos cálculos (omitidos aquí), se puede demostrar que

${\displaystyle \lambda _{LR}=n\ln \left[1+{\frac {t^{2}}{n-1}}\right]}$

donde t es el estadístico t con n  − 1 grados de libertad. Por lo tanto, podemos utilizar la distribución exacta conocida de t _{n −1} para extraer inferencias.

Distribución asintótica: teorema de Wilks

Si la distribución de la razón de verosimilitud correspondiente a una hipótesis nula y alternativa particular se puede determinar explícitamente, entonces se puede utilizar directamente para formar regiones de decisión (para sostener o rechazar la hipótesis nula). Sin embargo, en la mayoría de los casos, la distribución exacta de la razón de verosimilitud correspondiente a hipótesis específicas es muy difícil de determinar. ^{[ cita requerida ]}

Suponiendo que H ₀ es verdadera, hay un resultado fundamental de Samuel S. Wilks : A medida que el tamaño de la muestra se acerca a , y si la hipótesis nula se encuentra estrictamente dentro del interior del espacio de parámetros, la estadística de prueba definida anteriormente se distribuirá asintóticamente mediante chi-cuadrado ( ) con grados de libertad iguales a la diferencia en la dimensionalidad de y . ^[14] Esto implica que para una gran variedad de hipótesis, podemos calcular la razón de verosimilitud para los datos y luego comparar lo observado con el valor correspondiente a una significancia estadística deseada como una prueba estadística aproximada . Existen otras extensiones. ^{[ ¿cuál? ]} ${\displaystyle n}$ ${\displaystyle \infty }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$

Véase también

• Criterio de información de Akaike
• Factor de Bayes
• Prueba de Johansen
• Selección de modelo
• La prueba de cercanía de Vuong
• Prueba Sup-LR
• Exponentes de error en las pruebas de hipótesis

Referencias

1. King, Gary (1989). Metodología política unificadora: la teoría de la probabilidad de la inferencia estadística. Nueva York: Cambridge University Press. pág. 84. ISBN 0-521-36697-6.
2. Li, Bing; Babu, G. Jogesh (2019). Un curso de posgrado sobre inferencia estadística . Springer. pág. 331. ISBN 978-1-4939-9759-6.
3. Maddala, GS ; Lahiri, Kajal (2010). Introducción a la econometría (Cuarta ed.). Nueva York: Wiley. pag. 200.
4. Buse, A. (1982). "Las pruebas de razón de verosimilitud, de Wald y del multiplicador de Lagrange: una nota expositiva". The American Statistician . 36 (3a): 153–157. doi :10.1080/00031305.1982.10482817.
5. Pickles, Andrew (1985). Introducción al análisis de verosimilitud. Norwich: WH Hutchins & Sons. pp. 24–27. ISBN 0-86094-190-6.
6. Severini, Thomas A. (2000). Métodos de verosimilitud en estadística . Nueva York: Oxford University Press. pp. 120–121. ISBN 0-19-850650-3.
7. Neyman, J. ; Pearson, ES (1933), "Sobre el problema de las pruebas más eficientes de hipótesis estadísticas" (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode :1933RSPTA.231..289N, doi : 10.1098/rsta.1933.0009 , JSTOR  91247
8. Koch, Karl-Rudolf (1988). Estimación de parámetros y prueba de hipótesis en modelos lineales . Nueva York: Springer. p. 306. ISBN. 0-387-18840-1.
9. Silvey, SD (1970). Inferencia estadística . Londres: Chapman & Hall. págs. 112-114. ISBN. 0-412-13820-4.
10. Mittelhammer, Ron C. ; Judge, George G. ; Miller, Douglas J. (2000). Fundamentos econométricos . Nueva York: Cambridge University Press. pág. 66. ISBN 0-521-62394-4.
11. Mood, AM; Graybill, FA; Boes, DC (1974). Introducción a la teoría de la estadística (3.ª ed.). McGraw-Hill . §9.2.
12. Stuart, A.; Ord, K.; Arnold, S. (1999), Teoría avanzada de las estadísticas de Kendall , vol. 2A, Arnold , §§20.10–20.13
13. Cox, DR ; Hinkley, DV (1974), Estadística teórica , Chapman & Hall , pág. 92, ISBN 0-412-12420-3
14. Wilks, SS (1938). "La distribución de muestras grandes de la razón de verosimilitud para probar hipótesis compuestas". Anales de estadística matemática . 9 (1): 60–62. doi : 10.1214/aoms/1177732360 .

Lectura adicional

• Glover, Scott; Dixon, Peter (2004), "Razones de verosimilitud: una estadística simple y flexible para psicólogos empíricos", Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758/BF03196706 , PMID  15732688
• Held, Leonhard; Sabanés Bové, Daniel (2014), Inferencia estadística aplicada: verosimilitud y Bayes , Springer
• Kalbfleisch, JG (1985), Probabilidad e inferencia estadística , vol. 2, editorial Springer
• Perlman, Michael D.; Wu, Lang (1999), "Las nuevas pruebas del emperador", Statistical Science , 14 (4): 355–381, doi : 10.1214/ss/1009212517
• Perneger, Thomas V. (2001), "Examinando la evidencia: los índices de verosimilitud son alternativas a los valores P", The BMJ , 322 (7295): 1184–5, doi :10.1136/bmj.322.7295.1184, PMC  1120301 , PMID  11379590
• Pinheiro, José C.; Bates, Douglas M. (2000), Modelos de efectos mixtos en S y S-PLUS , Springer-Verlag , págs. 82–93
• Richard, Mark; Vecer, Jan (2021). "Pruebas de eficiencia de los mercados de predicción: enfoque martingala, razón de verosimilitud y análisis factorial de Bayes". Riesgos . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• Solomon, Daniel L. (1975), "Una nota sobre la no equivalencia de las pruebas de Neyman-Pearson y de razón de verosimilitud generalizada para probar una hipótesis nula simple frente a una hipótesis alternativa simple" (PDF) , The American Statistician , 29 (2): 101–102, doi :10.1080/00031305.1975.10477383, hdl : 1813/32605

Enlaces externos

• Se describe la aplicación práctica de la prueba de razón de verosimilitud
• Paquete R: Prueba de razón de probabilidad secuencial de Wald
• Calculadora clínica en línea de valores predictivos y razones de verosimilitud de Richard Lowry