En estadística , la separación es un fenómeno asociado con los modelos para resultados dicotómicos o categóricos, incluida la regresión logística y probit . La separación ocurre si el predictor (o una combinación lineal de algún subconjunto de los predictores) está asociado con un solo valor de resultado cuando el rango del predictor se divide en un valor determinado.
El fenómeno
Por ejemplo, si el predictor X es continuo y el resultado y = 1 para todos los valores observados x > 2, si los valores del resultado están (aparentemente) perfectamente determinados por el predictor (por ejemplo, y = 0 cuando x ≤ 2), se dice que se da la condición de "separación completa". Si, en cambio, hay cierta superposición (por ejemplo, y = 0 cuando x < 2, pero y tiene valores observados de 0 y 1 cuando x = 2), se da una "separación cuasicompleta". Una tabla de 2 × 2 con una celda vacía (cero) es un ejemplo de separación cuasicompleta.
El problema
Esta forma observada de los datos es importante porque a veces causa problemas con la estimación de los coeficientes de regresión. Por ejemplo, la estimación de máxima verosimilitud (ML) se basa en la maximización de la función de verosimilitud, donde, por ejemplo, en el caso de una regresión logística con datos completamente separados, el máximo aparece en el margen del espacio de parámetros, lo que conduce a estimaciones "infinitas" y, junto con eso, a problemas para proporcionar errores estándar razonables . [1] [2] El software estadístico a menudo generará una estimación de parámetro arbitrariamente grande con un error estándar muy grande. [3]
Posibles soluciones
Un enfoque para "arreglar" los problemas con la estimación de ML es el uso de regularización (o " correcciones de continuidad "). [4] [5]
En particular, en el caso de un problema de regresión logística, el uso de regresión logística exacta o regresión logística de Firth , un método de reducción de sesgo basado en una probabilidad penalizada, puede ser una opción. [6]
Como alternativa, se pueden evitar los problemas asociados con la maximización de la verosimilitud cambiando a un enfoque bayesiano para la inferencia. Dentro de un marco bayesiano, las patologías que surgen de la maximización de la verosimilitud se evitan mediante el uso de la integración en lugar de la maximización , así como mediante el uso de distribuciones de probabilidad previas sensatas . [7]
Referencias
- ^ Zeng, Guoping; Zeng, Emily (2019). "Sobre la relación entre multicolinealidad y separación en regresión logística". Communications in Statistics . Simulación y computación. 50 (7): 1989–1997. doi :10.1080/03610918.2019.1589511. S2CID 132047558.
- ^ Albert, A.; Anderson, JA (1984). "Sobre la existencia de estimaciones de máxima verosimilitud en modelos de regresión logística". Biometrika . 71 (1–10): 1–10. doi :10.1093/biomet/71.1.1.
- ^ McCullough, BD; Vinod, HD (2003). "Verificación de la solución a partir de un solucionador no lineal: un estudio de caso". American Economic Review . 93 (3): 873–892. doi :10.1257/000282803322157133. JSTOR 3132121.
- ^ Cole, SR; Chu, H.; Greenland, S. (2014), "Máxima verosimilitud, verosimilitud de perfil y verosimilitud penalizada: una introducción", American Journal of Epidemiology , 179 (2): 252–260, doi : 10.1093/aje/kwt245 , PMC 3873110 , PMID 24173548
- ^ Sweeting, MJ; Sutton, AJ; Lambert, PC (2004), "¿Qué añadir a la nada? Uso y evitación de correcciones de continuidad en el metanálisis de datos dispersos", Statistics in Medicine , 23 (9): 1351–1375, doi :10.1002/sim.1761, PMID 15116347, S2CID 247667708
- ^ Mansournia, Mohammad Ali; Geroldinger, Angelika; Greenland, Sander ; Heinze, Georg (2018). "Separación en regresión logística: causas, consecuencias y control". Revista estadounidense de epidemiología . 187 (4): 864–870. doi : 10.1093/aje/kwx299 . PMID 29020135.
- ^ Gelman, A .; Jakulín, A.; Pittau, MG; Su, Y. (2008), "Una distribución previa predeterminada débilmente informativa para modelos logísticos y otros modelos de regresión", Annals of Applied Statistics , 2 (4): 1360–1383, arXiv : 0901.4011 , doi : 10.1214/08-AOAS191
Lectura adicional
- Albert, A.; Anderson, JA (1984), "Sobre la existencia de estimaciones de máxima verosimilitud en modelos de regresión logística", Biometrika , 71 (1): 1–10, doi :10.1093/biomet/71.1.1
- Kosmidis, I.; Firth, D. (2021), "Penalización a priori de Jeffreys, finitud y contracción en modelos lineales generalizados de respuesta binomial", Biometrika , 108 (1): 71–82, arXiv : 1812.01938 , doi : 10.1093/biomet/asaa052
- Davidson, Russell; MacKinnon, James G. (2004). Teoría y métodos econométricos . Nueva York: Oxford University Press. pp. 458–459. ISBN 978-0-19-512372-2.
Enlaces externos
- Regresión logística mediante la reducción del sesgo de Firth: una solución al problema de la separación en la regresión logística
