Logit

Función en estadística

Gráfico de logit( x ) en el dominio de 0 a 1, donde la base del logaritmo es e .

En estadística , la función logit ( / ˈl oʊ dʒ ɪ t / LOH -jit ) es la función cuantil asociada a la distribución logística estándar . Tiene muchos usos en el análisis de datos y el aprendizaje automático , especialmente en las transformaciones de datos .

Matemáticamente, el logit es la inversa de la función logística estándar , por lo que el logit se define como ${\displaystyle \sigma (x)=1/(1+e^{-x})}$

${\displaystyle \operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad {\text{for}}\quad p\in (0,1).}$

Por este motivo, el logit también se denomina log-odds , ya que es igual al logaritmo de las probabilidades, donde p es una probabilidad. Por lo tanto, el logit es un tipo de función que asigna valores de probabilidad de a números reales en , ^[1] similar a la función probit . ${\displaystyle {\frac {p}{1-p}}}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

Definición

Si p es una probabilidad , entonces p /(1 − p ) son las probabilidades correspondientes ; el logit de la probabilidad es el logaritmo de las probabilidades, es decir:

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).}$

La base de la función logarítmica utilizada tiene poca importancia en el presente artículo, siempre que sea mayor que 1, pero el logaritmo natural de base e es el más utilizado. La elección de la base corresponde a la elección de la unidad logarítmica para el valor: la base 2 corresponde a un shannon , la base  e a un “ nat ”, y la base 10 a un hartley ; estas unidades se utilizan particularmente en interpretaciones de teoría de la información. Para cada elección de base, la función logit toma valores entre el infinito negativo y el infinito positivo.

La función “logística” de cualquier número viene dada por el logit inverso : ${\displaystyle \alpha }$

${\displaystyle \operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}}$

La diferencia entre los logit de dos probabilidades es el logaritmo del odds ratio ( R ), lo que proporciona una forma abreviada de escribir la combinación correcta de odds ratios simplemente sumando y restando :

${\displaystyle \ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.}$

Historia

Se han explorado varios enfoques para adaptar los métodos de regresión lineal a un dominio donde el resultado es un valor de probabilidad , en lugar de cualquier número real . En muchos casos, dichos esfuerzos se han centrado en modelar este problema mediante la asignación del rango a y luego ejecutar la regresión lineal sobre estos valores transformados. ^[2] ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

En 1934, Chester Ittner Bliss utilizó la función de distribución normal acumulativa para realizar esta función y llamó a su modelo probit , una abreviatura de " unidad de probabilidad " . Sin embargo, esto es computacionalmente más costoso. ^[2]

En 1944, Joseph Berkson utilizó el logaritmo de probabilidades y llamó a esta función logit , una abreviatura de " unidad logística " , siguiendo la analogía para probit:

"Utilizo este término [logit] para seguir a Bliss, quien llamó a la función análoga que es lineal en ⁠ ⁠ para la curva normal 'probit'". ${\displaystyle \ln p/q}$ ${\displaystyle x}$

—Joseph  Berkson (1944) ^[3]

El término log-odds fue utilizado ampliamente por Charles Sanders Peirce (finales del siglo XIX). ^[4] En 1949, GA Barnard acuñó el término comúnmente utilizado log-odds ; ^{[5] [6]} el log-odds de un evento es el logit de la probabilidad del evento. ^[7] Barnard también acuñó el término lods como una forma abstracta de "log-odds", ^[8] pero sugirió que "en la práctica, normalmente se debería usar el término 'odds', ya que es más familiar en la vida cotidiana". ^[9]

Usos y propiedades

• El logit en regresión logística es un caso especial de una función de enlace en un modelo lineal generalizado : es la función de enlace canónica para la distribución de Bernoulli .
• De manera más abstracta, el logit es el parámetro natural para la distribución binomial ; ver Familia exponencial § Distribución binomial .
• La función logit es el negativo de la derivada de la función de entropía binaria .
• El logit también es central en el modelo probabilístico de Rasch para la medición , que tiene aplicaciones en la evaluación psicológica y educativa, entre otras áreas.
• La función logit inversa (es decir, la función logística ) también se denomina a veces función expit . ^[10]
• En la epidemiología de enfermedades de las plantas, los modelos logístico, de Gompertz y monomolecular se conocen colectivamente como modelos de la familia Richards.
• La función de probabilidad de log-odds se utiliza a menudo en algoritmos de estimación de estados ^[11] debido a sus ventajas numéricas en el caso de probabilidades pequeñas. En lugar de multiplicar números de punto flotante muy pequeños, las probabilidades de log-odds se pueden sumar para calcular la probabilidad conjunta (de log-odds). ^{[12] [13]}

Comparación con probit

Comparación de la función logit con un probit escalado (es decir, la CDF inversa de la distribución normal ), comparando vs. , que hace que las pendientes sean las mismas en el origen y . ${\displaystyle \operatorname {logit} (x)}$ ${\displaystyle {\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}}$

Estrechamente relacionadas con la función logit (y el modelo logit ) están la función probit y el modelo probit . Tanto logit como probit son funciones sigmoideas con un dominio entre 0 y 1, lo que las convierte en funciones cuantiles , es decir, inversas de la función de distribución acumulativa (CDF) de una distribución de probabilidad . De hecho, logit es la función cuantil de la distribución logística , mientras que probit es la función cuantil de la distribución normal . La función probit se denota por , donde es la CDF de la distribución normal estándar, como se acaba de mencionar: ${\displaystyle \Phi ^{-1}(x)}$ ${\displaystyle \Phi (x)}$

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.}$

Como se muestra en el gráfico de la derecha, las funciones logit y probit son extremadamente similares cuando se escala la función probit , de modo que su pendiente en y = 0 coincide con la pendiente de la función logit . Como resultado, a veces se utilizan modelos probit en lugar de modelos logit porque para ciertas aplicaciones (por ejemplo, en la teoría de respuesta a los ítems ) la implementación es más sencilla. ^[14]

Véase también

• Función sigmoidea , inversa de la función logit
• Elección discreta en logit binario, logit multinomial, logit condicional, logit anidado, logit mixto, logit descompuesto y logit ordenado
• Variable dependiente limitada
• Análisis logístico en marketing
• Logit multinomial
• Ogee , curva con forma similar
• Perceptrón
• Probit , otra función con el mismo dominio y rango que el logit
• Puntuación de Ridit
• Transformación de datos (estadísticas)
• Arcsin (transformación)
• Modelo de Rasch

Referencias

1. "Logit/Probit" (PDF) .
2. Cramer, JS (2003). "Los orígenes y el desarrollo del modelo logit" (PDF) . Cambridge UP.
3. Berkson 1944, pág. 361, nota al pie 2.
4. Stigler, Stephen M. (1986). Historia de la estadística: la medición de la incertidumbre antes de 1900. Cambridge, Massachusetts: Belknap Press de Harvard University Press. ISBN 978-0-674-40340-6.
5. Hilbe, Joseph M. (2009), Modelos de regresión logística, CRC Press, pág. 3, ISBN 9781420075779.
6. Barnard 1949, pág. 120.
7. Cramer, JS (2003), Modelos logit de la economía y otros campos, Cambridge University Press, pág. 13, ISBN 9781139438193.
8. Barnard 1949, pág. 120,128.
9. Barnard 1949, pág. 136.
10. "R: Función logit inversa". Archivado desde el original el 6 de julio de 2011. Consultado el 18 de febrero de 2011 .
11. Thrun, Sebastian (2003). "Aprendizaje de mapas de cuadrícula de ocupación con modelos de sensores avanzados". Robots autónomos . 15 (2): 111–127. doi :10.1023/A:1025584807625. ISSN  0929-5593. S2CID  2279013.
12. Styler, Alex (2012). "Técnicas estadísticas en robótica" (PDF) . pág. 2. Consultado el 26 de enero de 2017 .
13. Dickmann, J.; Appenrodt, N.; Klappstein, J.; Bloecher, HL; Muntzinger, M.; Sailer, A.; Hahn, M.; Brenk, C. (1 de enero de 2015). "Hacer que Bertha vea aún más: contribución del radar". IEEE Access . 3 : 1233–1247. Bibcode :2015IEEEA...3.1233D. doi : 10.1109/ACCESS.2015.2454533 . ISSN  2169-3536.
14. Albert, James H. (2016). "Logit, Probit y otras funciones de respuesta". Manual de teoría de respuesta a ítems . Vol. Dos. Chapman y Hall. págs. 3–22. doi :10.1201/b19166-1. ISBN. 978-1-315-37364-5.

• Berkson, Joseph (1944). "Aplicación de la función logística al bioensayo". Journal of the American Statistical Association . 39 (227 (septiembre)): 357–365. doi :10.2307/2280041. JSTOR  2280041.
• Barnard, George Alfred (1949). "Inferencia estadística". Revista de la Royal Statistical Society . B. 11 (2): 115–149. doi :10.1111/j.2517-6161.1949.tb00028.x. JSTOR  2984075.

Enlaces externos

• ¿Qué función de enlace: Logit, Probit o Cloglog? 12.04.2023

Lectura adicional

• Ashton, Winifred D. (1972). La transformación logit: con especial referencia a sus usos en bioensayos . Griffin's Statistical Monographs & Courses. Vol. 32. Charles Griffin. ISBN 978-0-85264-212-2.