Teorema de Wilks

Teorema estadístico

En estadística , el teorema de Wilks ofrece una distribución asintótica de la estadística de razón de verosimilitud, que puede utilizarse para producir intervalos de confianza para estimaciones de máxima verosimilitud o como estadística de prueba para realizar la prueba de razón de verosimilitud .

Las pruebas estadísticas (como las pruebas de hipótesis ) generalmente requieren el conocimiento de la distribución de probabilidad de la estadística de prueba . Esto suele ser un problema en el caso de los cocientes de verosimilitud , donde la distribución de probabilidad puede ser muy difícil de determinar.

Un resultado conveniente de Samuel S. Wilks dice que a medida que el tamaño de la muestra se acerca a , la distribución de la estadística de prueba se acerca asintóticamente a la distribución de chi-cuadrado ( ) bajo la hipótesis nula . ^[1] Aquí, denota la razón de verosimilitud , y la distribución tiene grados de libertad iguales a la diferencia en dimensionalidad de y , donde es el espacio de parámetros completo y es el subconjunto del espacio de parámetros asociado con . Este resultado significa que para muestras grandes y una gran variedad de hipótesis, un profesional puede calcular la razón de verosimilitud para los datos y compararla con el valor correspondiente a una significancia estadística deseada como una prueba estadística aproximada. ${\displaystyle \infty }$ ${\displaystyle -2\log(\Lambda )}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle H_{0}}$ ${\displaystyle \Lambda }$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle H_{0}}$ ${\displaystyle \Lambda }$ ${\displaystyle -2\log(\Lambda )}$ ${\displaystyle \chi ^{2}}$

El teorema ya no se aplica cuando el valor verdadero del parámetro está en el límite del espacio de parámetros: el teorema de Wilks supone que los valores "verdaderos" pero desconocidos de los parámetros estimados se encuentran dentro del interior del espacio de parámetros admitido . En la práctica, uno notará el problema si la estimación se encuentra en ese límite. En ese caso, la prueba de verosimilitud sigue siendo una estadística de prueba sensata e incluso posee algunas propiedades de optimalidad asintótica, pero la significancia (el valor p ) no se puede estimar de manera confiable utilizando la distribución de chi-cuadrado con el número de grados de libertad prescrito por Wilks. En algunos casos, la distribución de hipótesis nula asintótica de la estadística es una mezcla de distribuciones de chi-cuadrado con diferentes números de grados de libertad.

Usar

Cada uno de los dos modelos en competencia, el modelo nulo y el modelo alternativo, se ajusta por separado a los datos y se registra la probabilidad logarítmica . La estadística de prueba (a menudo denotada por D ) es el doble del logaritmo de la razón de verosimilitud, es decir , es el doble de la diferencia en las probabilidades logarítmicas:

${\displaystyle {\begin{aligned}D&=-2\ln \left({\frac {\text{likelihood for null model}}{\text{likelihood for alternative model}}}\right)\\[5pt]&=2\ln \left({\frac {\text{likelihood for alternative model}}{\text{likelihood for null model}}}\right)\\[5pt]&=2\times [\ln({\text{likelihood for alternative model}})-\ln({\text{likelihood for null model}})]\\[5pt]\end{aligned}}}$

El modelo con más parámetros (aquí alternative ) siempre se ajustará al menos tan bien —es decir, tendrá la misma o mayor log-verosimilitud— que el modelo con menos parámetros (aquí null ). Si el ajuste es significativamente mejor y por lo tanto debería preferirse se determina derivando qué tan probable es ( p -valor ) observar tal diferencia  D solo por casualidad , si el modelo con menos parámetros fuera verdadero. Donde la hipótesis nula representa un caso especial de la hipótesis alternativa, la distribución de probabilidad de la estadística de prueba es aproximadamente una distribución de chi-cuadrado con grados de libertad iguales a , ^[2] respectivamente el número de parámetros libres de los modelos alternative y null . ${\displaystyle \,{\text{df}}_{\text{alt}}-{\text{df}}_{\text{null}}\,}$

Por ejemplo: si el modelo nulo tiene 1 parámetro y una verosimilitud logarítmica de −8024 y el modelo alternativo tiene 3 parámetros y una verosimilitud logarítmica de −8012, entonces la probabilidad de esta diferencia es la del valor de chi-cuadrado de con grados de libertad, y es igual a . Se deben cumplir ciertos supuestos ^[1] para que la estadística siga una distribución de chi-cuadrado , pero también se pueden calcular valores p empíricos si no se cumplen esas condiciones. ${\displaystyle 2\times (-8012-(-8024))=24}$ ${\displaystyle 3-1=2}$ ${\displaystyle 6\times 10^{-6}}$

Ejemplos

Lanzamiento de moneda

Un ejemplo de la prueba de Pearson es la comparación de dos monedas para determinar si tienen la misma probabilidad de que salga cara. Las observaciones se pueden incluir en una tabla de contingencia con filas correspondientes a la moneda y columnas correspondientes a cara o cruz. Los elementos de la tabla de contingencia serán el número de veces que cada moneda salió cara o cruz. El contenido de esta tabla son nuestras observaciones X .

${\displaystyle {\begin{array}{c|cc}X&{\text{Heads}}&{\text{Tails}}\\\hline {\text{Coin 1}}&k_{\mathrm {1H} }&k_{\mathrm {1T} }\\{\text{Coin 2}}&k_{\mathrm {2H} }&k_{\mathrm {2T} }\end{array}}}$

Aquí Θ consiste en las posibles combinaciones de valores de los parámetros , , , y , que son la probabilidad de que las monedas 1 y 2 salgan cara o cruz. En lo que sigue, y . El espacio de hipótesis H está restringido por las restricciones habituales en una distribución de probabilidad, , y . El espacio de la hipótesis nula es el subespacio donde . La dimensionalidad del espacio de parámetros completo Θ es 2 (cualquiera de los y cualquiera de los pueden tratarse como parámetros libres bajo la hipótesis ), y la dimensionalidad de es 1 (solo uno de los puede considerarse un parámetro libre bajo la hipótesis nula ). ${\displaystyle p_{\mathrm {1H} }}$ ${\displaystyle p_{\mathrm {1T} }}$ ${\displaystyle p_{\mathrm {2H} }}$ ${\displaystyle p_{\mathrm {2T} }}$ ${\displaystyle i=1,2}$ ${\displaystyle j=\mathrm {H,T} }$ ${\displaystyle 0\leq p_{ij}\leq 1}$ ${\displaystyle p_{i\mathrm {H} }+p_{i\mathrm {T} }=1}$ ${\displaystyle H_{0}}$ ${\displaystyle p_{1j}=p_{2j}}$ ${\displaystyle p_{1j}}$ ${\displaystyle p_{2j}}$ ${\displaystyle H}$ ${\displaystyle \Theta _{0}}$ ${\displaystyle p_{ij}}$ ${\displaystyle H_{0}}$

Escribiendo para las mejores estimaciones de bajo la hipótesis H , la estimación de máxima verosimilitud está dada por ${\displaystyle n_{ij}}$ ${\displaystyle p_{ij}}$

${\displaystyle n_{ij}={\frac {k_{ij}}{k_{i\mathrm {H} }+k_{i\mathrm {T} }}}\,.}$

De manera similar, las estimaciones de máxima verosimilitud bajo la hipótesis nula se dan por ${\displaystyle p_{ij}}$ ${\displaystyle H_{0}}$

${\displaystyle m_{ij}={\frac {k_{1j}+k_{2j}}{k_{\mathrm {1H} }+k_{\mathrm {2H} }+k_{\mathrm {1T} }+k_{\mathrm {2T} }}}\,,}$

que no depende de la moneda i .

La hipótesis y la hipótesis nula se pueden reescribir ligeramente para que satisfagan las restricciones para que el logaritmo de la razón de verosimilitud tenga la distribución deseada. Dado que la restricción hace que la H bidimensional se reduzca a la unidimensional , la distribución asintótica para la prueba será , la distribución con un grado de libertad. ${\displaystyle H_{0}}$ ${\displaystyle \chi ^{2}(1)}$ ${\displaystyle \chi ^{2}}$

Para la tabla de contingencia general, podemos escribir la estadística de razón de verosimilitud logarítmica como

${\displaystyle -2\log \Lambda =2\sum _{i,j}k_{ij}\log {\frac {n_{ij}}{m_{ij}}}\,.}$

Invalidez de los modelos de efectos aleatorios o mixtos

El teorema de Wilks supone que los valores verdaderos pero desconocidos de los parámetros estimados se encuentran en el interior del espacio de parámetros . Esto se viola comúnmente en los modelos de efectos aleatorios o mixtos , por ejemplo, cuando uno de los componentes de la varianza es insignificante en relación con los demás. En algunos de estos casos, un componente de la varianza puede ser efectivamente cero en relación con los demás, o en otros casos los modelos pueden estar anidados incorrectamente.

Para ser claros: estas limitaciones del teorema de Wilks no niegan ninguna propiedad de potencia de una prueba de razón de verosimilitud particular. ^[3] El único problema es que a veces una distribución es una mala elección para estimar la significancia estadística del resultado. ${\displaystyle \chi ^{2}}$

Malos ejemplos

Pinheiro y Bates (2000) demostraron que la distribución real de esta estadística de chi-cuadrado de razón de verosimilitud podría ser sustancialmente diferente de la ingenua , a menudo dramáticamente diferente. ^[4] Las suposiciones ingenuas podrían dar probabilidades de significancia ( valores p ) que son, en promedio, demasiado grandes en algunos casos y demasiado pequeñas en otros. ${\displaystyle \chi ^{2}}$

En general, para probar los efectos aleatorios, recomiendan utilizar la máxima verosimilitud restringida (REML). Para las pruebas de efectos fijos, dicen, “una prueba de razón de verosimilitud para ajustes REML no es factible”, porque cambiar la especificación de los efectos fijos cambia el significado de los efectos mixtos y, por lo tanto, el modelo restringido no está anidado dentro del modelo más grande. ^[4] Como demostración, establecieron una o dos varianzas de efectos aleatorios en cero en pruebas simuladas. En esos ejemplos particulares, los valores p simulados con k restricciones coincidieron más estrechamente con una mezcla 50-50 de y . (Con k = 1 , es 0 con probabilidad 1. Esto significa que una buena aproximación fue ) ^[4] ${\displaystyle \chi ^{2}(k)}$ ${\displaystyle \chi ^{2}(k-1)}$ ${\displaystyle \chi ^{2}(0)}$ ${\displaystyle \,0.5\,\chi ^{2}(1)\,.}$

Pinheiro y Bates también simularon pruebas de diferentes efectos fijos. En una prueba de un factor con 4 niveles ( grados de libertad  = 3), descubrieron que una mezcla 50-50 de y era una buena coincidencia para los valores p reales obtenidos por simulación, y el error en el uso del ingenuo “puede no ser demasiado alarmante”. ^[4] ${\displaystyle \chi ^{2}(3)}$ ${\displaystyle \chi ^{2}(4)}$ ${\displaystyle \chi ^{2}(3)}$

Sin embargo, en otra prueba de un factor con 15 niveles, encontraron una coincidencia razonable con -4 grados de libertad más que los 14 que se obtendrían de una aplicación ingenua (inapropiada) del teorema de Wilks, y el valor p simulado fue varias veces el ingenuo . Concluyen que para probar efectos fijos, "es prudente usar simulación". ^[a] ${\displaystyle \chi ^{2}(18)}$ ${\displaystyle \chi ^{2}(14)}$

Véase también

• Factor de Bayes
• Selección de modelo
• Prueba Sup-LR
• Criterio de información de Akaike (AIC)

Notas

1. Pinheiro y Bates (2000) ^[4] proporcionaron una simulate.lmefunción en su nlmepaquete para S-PLUSy Rpara soportar la simulación REML; ver ref. ^[5]

Referencias

1. Wilks, Samuel S. (1938). "La distribución de muestras grandes de la razón de verosimilitud para probar hipótesis compuestas". Anales de estadística matemática . 9 (1): 60–62. doi : 10.1214/aoms/1177732360 .
2. Huelsenbeck, JP; Crandall, KA (1997). "Estimación de filogenia y prueba de hipótesis utilizando máxima verosimilitud". Revista anual de ecología y sistemática . 28 : 437–466. doi :10.1146/annurev.ecolsys.28.1.437.
3. Neyman, Jerzy ; Pearson, Egon S. (1933). "Sobre el problema de las pruebas más eficientes de hipótesis estadísticas" (PDF) . Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences . 231 (694–706): 289–337. Bibcode :1933RSPTA.231..289N. doi : 10.1098/rsta.1933.0009 . JSTOR  91247.
4. Pinheiro, José C.; Bates, Douglas M. (2000). Modelos de efectos mixtos en S y S-PLUS . Springer-Verlag. págs. 82–93. ISBN 0-387-98957-9.
5. "Simular resultados a partir de modelos lme" (PDF) . R-project.org (documentación del software). Paquete . 12 de mayo de 2019. págs. 281–282 . Consultado el 8 de junio de 2019 .nlme

Otras fuentes

• Casella, George; Berger, Roger L. (2001). Inferencia estadística (Segunda edición). ISBN 0-534-24312-6.
• Mood, AM; Graybill, FA (1963). Introducción a la teoría de la estadística (2.ª ed.). McGraw-Hill. ISBN 978-0070428638.
• Cox, DR; Hinkley, DV (1974). Estadística teórica . Chapman y Hall. ISBN 0-412-12420-3.
• Stuart, A.; Ord, K.; Arnold, S. (1999). Teoría avanzada de la estadística de Kendall . Vol. 2A. Londres: Arnold . ISBN. 978-0-340-66230-4.

Enlaces externos

• "Razón de verosimilitud: teorema de Wilks".