Logit

Función en estadística

Gráfica de logit( x ) en el dominio de 0 a 1, donde la base del logaritmo es e .

En estadística , la función logit ( / ˈl oʊ dʒ ɪ t / LOH -jit ) es la función cuantil asociada con la distribución logística estándar . Tiene muchos usos en análisis de datos y aprendizaje automático, especialmente en transformaciones de datos .

Matemáticamente, el logit es la inversa de la función logística estándar , por lo que el logit se define como ${\displaystyle \sigma (x)=1/(1+e^{-x})}$

${\displaystyle \operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad {\text{for}}\quad p\in (0,1).}$

Debido a esto, el logit también se llama log-odds ya que es igual al logaritmo de las odds donde p es una probabilidad. Por lo tanto, el logit es un tipo de función que asigna valores de probabilidad a números reales en ^[1] , similar a la función probit . ${\displaystyle {\frac {p}{1-p}}}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

Definición

Si p es una probabilidad , entonces p /(1 − p ) son las probabilidades correspondientes ; el logit de la probabilidad es el logaritmo de las probabilidades, es decir:

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).}$

La base de la función logarítmica utilizada tiene poca importancia en el presente artículo, siempre que sea mayor que 1, pero el logaritmo natural con base e es el más utilizado. La elección de la base corresponde a la elección de la unidad logarítmica del valor: la base 2 corresponde a un shannon , la base  e a un “ nat ”, y la base 10 a un hartley ; Estas unidades se utilizan particularmente en interpretaciones de la teoría de la información. Para cada elección de base, la función logit toma valores entre el infinito negativo y el positivo.

La función “logística” de cualquier número viene dada por el logit inverso : ${\displaystyle \alpha }$

${\displaystyle \operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}}$

La diferencia entre los logit s de dos probabilidades es el logaritmo de la razón de probabilidades ( R ), proporcionando así una forma abreviada de escribir la combinación correcta de razones de probabilidad solo sumando y restando :

${\displaystyle \ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.}$

Historia

Se han explorado varios enfoques para adaptar los métodos de regresión lineal a un dominio donde el resultado es un valor de probabilidad , en lugar de cualquier número real . En muchos casos, dichos esfuerzos se han centrado en modelar este problema mapeando el rango y luego ejecutando la regresión lineal sobre estos valores transformados. ^[2] ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

En 1934, Chester Ittner Bliss utilizó la función de distribución normal acumulativa para realizar este mapeo y llamó a su modelo probit , una abreviatura de " unidad de probabilidad ". Sin embargo, esto es computacionalmente más costoso. ^[2]

En 1944, Joseph Berkson utilizó el registro de probabilidades y llamó a esta función logit , una abreviatura de " unidad logística " , siguiendo la analogía de probit:

"Utilizo este término [logit] para seguir a Bliss, quien llamó 'probit' a la función análoga que es lineal para la curva normal". ${\displaystyle \ln p/q}$ ${\displaystyle x}$

—Joseph  Berkson (1944) ^[3]

Charles Sanders Peirce (finales del siglo XIX) utilizó ampliamente las probabilidades logarítmicas . ^[4] GA Barnard en 1949 acuñó el término comúnmente utilizado log-odds ; ^{[5] [6]} el log-odds de un evento es el logit de la probabilidad del evento. ^[7] Barnard también acuñó el término lods como una forma abstracta de "log-odds", ^[8] pero sugirió que "en la práctica, el término 'odds' normalmente debería usarse, ya que es más familiar en la vida cotidiana". ^[9]

Usos y propiedades

• El logit en regresión logística es un caso especial de función de enlace en un modelo lineal generalizado : es la función de enlace canónica para la distribución de Bernoulli .
• La función logit es la negativa de la derivada de la función de entropía binaria .
• El logit también es fundamental para el modelo probabilístico de medición de Rasch , que tiene aplicaciones en la evaluación psicológica y educativa, entre otras áreas.
• La función logit inversa (es decir, la función logística ) también se denomina a veces función de salida . ^[10]
• En epidemiología de enfermedades de plantas, el logit se utiliza para ajustar los datos a un modelo logístico. Con los modelos Gompertz y Monomolecular, los tres se conocen como modelos de la familia Richards.
• La función logarítmica de probabilidades se utiliza a menudo en algoritmos de estimación de estados ^[11] debido a sus ventajas numéricas en el caso de probabilidades pequeñas. En lugar de multiplicar números de coma flotante muy pequeños, las probabilidades logarítmicas pueden simplemente sumarse para calcular la probabilidad conjunta (logaritmo-probabilidades). ^{[12] [13]}

Comparación con probit

Comparación de la función logit con un probit escalado (es decir, la CDF inversa de la distribución normal ), comparando vs. , lo que hace que las pendientes sean las mismas en el origen y . ${\displaystyle \operatorname {logit} (x)}$ ${\displaystyle {\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}}$

Estrechamente relacionados con la función logit (y el modelo logit ) están la función probit y el modelo probit . Tanto el logit como el probit son funciones sigmoideas con un dominio entre 0 y 1, lo que las convierte en funciones cuantiles , es decir, inversas de la función de distribución acumulativa (CDF) de una distribución de probabilidad . De hecho, el logit es la función cuantil de la distribución logística , mientras que el probit es la función cuantil de la distribución normal . La función probit se denota , donde es la CDF de la distribución normal estándar, como se acaba de mencionar: ${\displaystyle \Phi ^{-1}(x)}$ ${\displaystyle \Phi (x)}$

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.}$

Como se muestra en el gráfico de la derecha, las funciones logit y probit son extremadamente similares cuando se escala la función probit , de modo que su pendiente en y = 0 coincide con la pendiente del logit . Como resultado, a veces se utilizan modelos probit en lugar de modelos logit porque para ciertas aplicaciones (por ejemplo, en la teoría de respuesta al ítem ) la implementación es más fácil. ^[14]

Ver también

• Función sigmoidea , inversa de la función logit
• Elección discreta de logit binario, logit multinomial, logit condicional, logit anidado, logit mixto, logit explotado y logit ordenado
• Variable dependiente limitada
• Análisis logit en marketing.
• logit multinomial
• Conopial , curva con forma similar.
• perceptrón
• Probit , otra función con el mismo dominio y rango que el logit
• Puntuación ridícula
• Transformación de datos (estadísticas)
• Arcsin (transformación)
• modelo rasch

Referencias

1. "Logit/Probit" (PDF) .
2. Cramer, JS (2003). "Los orígenes y desarrollo del modelo logit" (PDF) . Cambridge UP.
3. Berkson 1944, pag. 361, nota al pie 2.
4. Stigler, Stephen M. (1986). La historia de la estadística : la medición de la incertidumbre antes de 1900 . Cambridge, Massachusetts: Belknap Press de Harvard University Press. ISBN 978-0-674-40340-6.
5. Hilbe, Joseph M. (2009), Modelos de regresión logística, CRC Press, p. 3, ISBN 9781420075779.
6. Barnard 1949, pag. 120.
7. Cramer, JS (2003), Modelos logit de economía y otros campos, Cambridge University Press, pág. 13, ISBN 9781139438193.
8. Barnard 1949, pag. 120.128.
9. Barnard 1949, pag. 136.
10. "R: función logit inversa". Archivado desde el original el 6 de julio de 2011 . Consultado el 18 de febrero de 2011 .
11. Thrun, Sebastián (2003). "Aprendizaje de mapas de cuadrícula de ocupación con modelos de sensores delanteros". Robots Autónomos . 15 (2): 111-127. doi :10.1023/A:1025584807625. ISSN  0929-5593. S2CID  2279013.
12. Styler, Alex (2012). «Técnicas Estadísticas en Robótica» (PDF) . pag. 2 . Consultado el 26 de enero de 2017 .
13. Dickmann, J.; Appenrodt, N.; Klappstein, J.; Bloecher, HL; Muntzinger, M.; Marinero, A.; Hahn, M.; Brenk, C. (1 de enero de 2015). "Hacer que Bertha vea aún más: contribución del radar". Acceso IEEE . 3 : 1233-1247. doi : 10.1109/ACCESS.2015.2454533 . ISSN  2169-3536.
14. Alberto, James H. (2016). "Logit, Probit y otras funciones de respuesta". Manual de teoría de respuesta al ítem . vol. Dos. Chapman y Hall. págs. 3–22. doi :10.1201/b19166-1.

• Berkson, José (1944). "Aplicación de la Función Logística al Bioensayo". Revista de la Asociación Estadounidense de Estadística . 39 (227 (septiembre)): 357–365. doi :10.2307/2280041. JSTOR  2280041.
• Barnard, George Alfred (1949). "Inferencia estadística". Revista de la Real Sociedad de Estadística . B.11 (2): 115-149 . JSTOR  2984075.

enlaces externos

• ¿Qué función de enlace: Logit, Probit o Cloglog? 12.04.2023

Otras lecturas

• Ashton, Winifred D. (1972). La Transformación Logit: con especial referencia a sus usos en Bioensayo . Cursos y monografías estadísticas de Griffin. vol. 32. Charles Griffin. ISBN 978-0-85264-212-2.