Modelo probit

Regresión estadística donde la variable dependiente solo puede tomar dos valores

En estadística , un modelo probit es un tipo de regresión donde la variable dependiente puede tomar solo dos valores, por ejemplo, casado o soltero. La palabra es un acrónimo de probabilidad + unidad . [ ^1] El propósito del modelo es estimar la probabilidad de que una observación con características particulares caiga en una categoría específica; además, clasificar las observaciones en función de sus probabilidades predichas es un tipo de modelo de clasificación binaria .

Un modelo probit es una especificación popular para un modelo de respuesta binaria . Como tal, trata el mismo conjunto de problemas que la regresión logística utilizando técnicas similares. Cuando se ve en el marco del modelo lineal generalizado , el modelo probit emplea una función de enlace probit . ^[2] Se estima con mayor frecuencia utilizando el procedimiento de máxima verosimilitud , ^[3] dicha estimación se denomina regresión probit .

Marco conceptual

Supongamos que una variable de respuesta Y es binaria , es decir, puede tener solo dos resultados posibles que denotaremos como 1 y 0. Por ejemplo, Y puede representar la presencia/ausencia de una determinada condición, el éxito/fracaso de algún dispositivo, responder sí/no en una encuesta, etc. También tenemos un vector de regresores X , que se supone que influyen en el resultado Y. Específicamente, suponemos que el modelo toma la forma

${\displaystyle P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),}$

donde P es la probabilidad y es la función de distribución acumulativa ( CDF ) de la distribución normal estándar . Los parámetros β se estiman típicamente por máxima verosimilitud . ${\displaystyle \Phi }$

Es posible motivar el modelo probit como un modelo de variable latente . Supongamos que existe una variable aleatoria auxiliar

${\displaystyle Y^{\ast }=X^{T}\beta +\varepsilon ,}$

donde ε ~ N (0, 1). Entonces Y puede considerarse un indicador de si esta variable latente es positiva:

${\displaystyle Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}}$

El uso de la distribución normal estándar no causa ninguna pérdida de generalidad en comparación con el uso de una distribución normal con una media y una desviación estándar arbitrarias, porque agregar una cantidad fija a la media se puede compensar restando la misma cantidad de la intersección, y multiplicar la desviación estándar por una cantidad fija se puede compensar multiplicando los pesos por la misma cantidad.

Para ver que los dos modelos son equivalentes, observe que

${\displaystyle {\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}}$

Estimación del modelo

Estimación de máxima verosimilitud

Supongamos que el conjunto de datos contiene n unidades estadísticas independientes correspondientes al modelo anterior. ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$

Para la observación única, condicional al vector de entradas de esa observación, tenemos:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

donde es un vector de entradas y es un vector de coeficientes. ${\displaystyle x_{i}}$ ${\displaystyle K\times 1}$ ${\displaystyle \beta }$ ${\displaystyle K\times 1}$

La probabilidad de una sola observación es entonces ${\displaystyle (y_{i},x_{i})}$

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

De hecho, si , entonces , y si , entonces . ${\displaystyle y_{i}=1}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$ ${\displaystyle y_{i}=0}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

Dado que las observaciones son independientes y están distribuidas de manera idéntica, entonces la probabilidad de toda la muestra, o la probabilidad conjunta , será igual al producto de las probabilidades de las observaciones individuales:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

La función de log-verosimilitud conjunta es entonces

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

El estimador que maximiza esta función será consistente , asintóticamente normal y eficiente siempre que exista y no sea singular. Se puede demostrar que esta función de log-verosimilitud es globalmente cóncava en , y por lo tanto los algoritmos numéricos estándar para optimización convergerán rápidamente al máximo único. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$ ${\displaystyle \beta }$

La distribución asintótica para está dada por ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

dónde

${\displaystyle \Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$^{[ cita requerida ]}

y es la Función de Densidad de Probabilidad ( PDF ) de la distribución normal estándar. ${\displaystyle \varphi =\Phi '}$

También están disponibles métodos de máxima verosimilitud semiparamétricos y no paramétricos para modelos de tipo probit y otros modelos relacionados. ^[4]

Método de chi-cuadrado mínimo de Berkson

Este método se puede aplicar únicamente cuando existen muchas observaciones de la variable de respuesta que tienen el mismo valor del vector de regresores (esta situación puede denominarse "muchas observaciones por celda"). Más específicamente, el modelo se puede formular de la siguiente manera. ${\displaystyle y_{i}}$ ${\displaystyle x_{i}}$

Supongamos que entre n observaciones hay solo T valores distintos de los regresores, que pueden denotarse como . Sea el número de observaciones con y el número de tales observaciones con . Suponemos que efectivamente hay "muchas" observaciones por cada "celda": para cada . ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$ ${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{i}=x_{(t)},}$ ${\displaystyle r_{t}}$ ${\displaystyle y_{i}=1}$ ${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$

Denotar

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

Entonces, el estimador de chi-cuadrado mínimo de Berkson es un estimador de mínimos cuadrados generalizado en una regresión de con pesos : ${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$ ${\displaystyle x_{(t)}}$ ${\displaystyle {\hat {\sigma }}_{t}^{-2}}$

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

Se puede demostrar que este estimador es consistente (cuando n →∞ y T es fijo), asintóticamente normal y eficiente. ^{[ cita requerida ]} Su ventaja es la presencia de una fórmula de forma cerrada para el estimador. Sin embargo, solo tiene sentido realizar este análisis cuando no se dispone de observaciones individuales, sino solo de sus recuentos agregados , , y (por ejemplo, en el análisis del comportamiento electoral). ${\displaystyle r_{t}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{(t)}}$

Muestreo de Gibbs

El muestreo de Gibbs de un modelo probit es posible porque los modelos de regresión suelen utilizar distribuciones normales previas sobre los pesos, y esta distribución es conjugada con la distribución normal de los errores (y, por lo tanto, de las variables latentes Y ^* ). El modelo puede describirse como

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

A partir de esto, podemos determinar las densidades condicionales completas necesarias:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}}$

El resultado se da en el artículo sobre regresión lineal bayesiana , aunque se especifica con una notación diferente. ${\displaystyle {\boldsymbol {\beta }}}$

El único truco está en las dos últimas ecuaciones. La notación es el corchete de Iverson , a veces escrito o similar. Indica que la distribución debe truncarse dentro del rango dado y reescalarse apropiadamente. En este caso particular, surge una distribución normal truncada . El muestreo de esta distribución depende de cuánto se trunca. Si queda una gran fracción de la masa original, el muestreo se puede hacer fácilmente con muestreo de rechazo : simplemente muestree un número de la distribución no truncada y rechácelo si cae fuera de la restricción impuesta por el truncamiento. Sin embargo, si el muestreo solo se realiza de una pequeña fracción de la masa original (por ejemplo, si el muestreo se realiza de una de las colas de la distribución normal, por ejemplo, si es alrededor de 3 o más, y se desea una muestra negativa), esto será ineficiente y se hace necesario recurrir a otros algoritmos de muestreo. El muestreo general de la normal truncada se puede lograr utilizando aproximaciones a la CDF normal y la función probit , y R tiene una función para generar muestras normales truncadas. ${\displaystyle [y_{i}^{\ast }<0]}$ ${\displaystyle {\mathcal {I}}(y_{i}^{\ast }<0)}$ ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}}$rtnorm()

Evaluación del modelo

La idoneidad de un modelo binario estimado se puede evaluar contando el número de observaciones verdaderas que son iguales a 1 y el número que es igual a cero, para las cuales el modelo asigna una clasificación predicha correcta al tratar cualquier probabilidad estimada superior a 1/2 (o inferior a 1/2), como una asignación de una predicción de 1 (o de 0). Consulte Regresión logística § Modelo para obtener más detalles.

Rendimiento bajo especificaciones incorrectas

Considere la formulación del modelo de variable latente del modelo probit. Cuando la varianza de condicional sobre no es constante sino que depende de , surge el problema de la heterocedasticidad . Por ejemplo, supongamos que y donde es una variable explicativa positiva continua. Bajo la heterocedasticidad, el estimador probit para es usualmente inconsistente, y la mayoría de las pruebas sobre los coeficientes son inválidas. Más importante aún, el estimador para también se vuelve inconsistente. Para lidiar con este problema, el modelo original necesita ser transformado para ser homocedástico. Por ejemplo, en el mismo ejemplo, puede reescribirse como , donde . Por lo tanto, y ejecutando probit sobre genera un estimador consistente para la probabilidad condicional ${\displaystyle \varepsilon }$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon }$ ${\displaystyle \varepsilon \mid x\sim N(0,x_{1}^{2})}$ ${\displaystyle x_{1}}$ ${\displaystyle \beta }$ ${\displaystyle P(y=1\mid x)}$ ${\displaystyle 1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]}$ ${\displaystyle 1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]}$ ${\displaystyle \varepsilon /x_{1}\mid x\sim N(0,1)}$ ${\displaystyle P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})}$ ${\displaystyle (1,1/x_{1})}$ ${\displaystyle P(y=1\mid x).}$

Cuando el supuesto de que se distribuye normalmente no se cumple, surge un problema de especificación de forma funcional : si el modelo se sigue estimando como un modelo probit, los estimadores de los coeficientes son inconsistentes. Por ejemplo, si sigue una distribución logística en el modelo verdadero, pero el modelo se estima mediante probit, las estimaciones serán generalmente menores que el valor verdadero. Sin embargo, la inconsistencia de las estimaciones de los coeficientes es prácticamente irrelevante porque las estimaciones de los efectos parciales, , serán cercanas a las estimaciones dadas por el modelo logit verdadero. ^[5] ${\displaystyle \varepsilon }$ ${\displaystyle \beta }$ ${\displaystyle \varepsilon }$ ${\displaystyle \partial P(y=1\mid x)/\partial x_{i'}}$

Para evitar el problema de la especificación incorrecta de la distribución, se puede adoptar un supuesto de distribución general para el término de error, de modo que se puedan incluir muchos tipos diferentes de distribución en el modelo. El costo es un cálculo más pesado y una menor precisión por el aumento del número de parámetros. ^[6] En la mayoría de los casos prácticos en los que la forma de distribución está mal especificada, los estimadores para los coeficientes son inconsistentes, pero los estimadores para la probabilidad condicional y los efectos parciales siguen siendo muy buenos. ^{[ cita requerida ]}

También se pueden adoptar enfoques semiparamétricos o no paramétricos, por ejemplo, a través de métodos de verosimilitud local o de cuasi-verosimilitud no paramétrica, que evitan suposiciones sobre una forma paramétrica para la función de índice y son robustos a la elección de la función de enlace (por ejemplo, probit o logit). ^[4]

Historia

El modelo probit suele atribuirse a Chester Bliss , quien acuñó el término "probit" en 1934, ^[7] y a John Gaddum (1933), quien sistematizó trabajos anteriores. ^[8] Sin embargo, el modelo básico data de la ley de Weber-Fechner de Gustav Fechner , publicada en Fechner (1860), y fue redescubierto repetidamente hasta la década de 1930; véase Finney (1971, Capítulo 3.6) y Aitchison & Brown (1957, Capítulo 1.2). ^[8]

Ronald Fisher propuso un método rápido para calcular estimaciones de máxima verosimilitud para el modelo probit como apéndice al trabajo de Bliss en 1935. ^[9]

Véase también

• Modelo lineal generalizado
• Variable dependiente limitada
• Modelo logit
• Probit multinomial
• Modelos probit multivariados
• Modelo probit ordenado y logit ordenado
• Separación (estadísticas)
• Modelo de Tobit

Referencias

1. Oxford English Dictionary , 3.ª ed. sv probit (artículo de junio de 2007): Bliss, CI (1934). "El método de los probits". Science . 79 (2037): 38–39. Bibcode :1934Sci....79...38B. doi :10.1126/science.79.2037.38. PMID  17813446. Estas unidades de probabilidad arbitrarias se han denominado "probits".
2. Agresti, Alan (2015). Fundamentos de modelos lineales y lineales generalizados . Nueva York: Wiley. pp. 183–186. ISBN 978-1-118-73003-4.
3. Aldrich, John H.; Nelson, Forrest D.; Adler, E. Scott (1984). Modelos lineales de probabilidad, logit y probit. Sage. págs. 48-65. ISBN. 0-8039-2133-0.
4. Park, Byeong U.; Simar, Léopold; Zelenyuk, Valentin (2017). "Estimación no paramétrica de modelos dinámicos de elección discreta para datos de series temporales" (PDF) . Computational Statistics & Data Analysis . 108 : 97–120. doi :10.1016/j.csda.2016.10.024.
5. Greene, WH (2003), Análisis econométrico, Prentice Hall, Upper Saddle River, Nueva Jersey.
6. Para más detalles, consulte: Cappé, O., Moulines, E. y Ryden, T. (2005): "Inferencia en modelos ocultos de Markov", Springer-Verlag Nueva York, Capítulo 2.
7. Bliss, CI (1934). "El método de probits". Science . 79 (2037): 38–39. Bibcode :1934Sci....79...38B. doi :10.1126/science.79.2037.38. PMID  17813446.
8. Cramer 2002, pág. 7.
9. Fisher, RA (1935). "El caso de cero supervivientes en ensayos probit". Annals of Applied Biology . 22 : 164–165. doi :10.1111/j.1744-7348.1935.tb07713.x. Archivado desde el original el 30 de abril de 2014.

• Aitchison, John; Brown, James Alan Calvert (1957). La distribución lognormal: con especial referencia a sus usos en economía. University Press. ISBN 978-0-521-04011-2.
• Cramer, JS (2002). Los orígenes de la regresión logística (PDF) (Informe técnico). Vol. 119. Tinbergen Institute. págs. 167–178. doi :10.2139/ssrn.360300.
  • Publicado en: Cramer, JS (2004). "Los orígenes tempranos del modelo logit". Estudios de Historia y Filosofía de la Ciencia Parte C: Estudios de Historia y Filosofía de las Ciencias Biológicas y Biomédicas . 35 (4): 613–626. doi :10.1016/j.shpsc.2004.09.003.
• Fechner, Gustav Theodor (1860). Elemente der Psychophysik [ Elementos de la psicofísica ]. vol. banda 2. Leipzig: Breitkopf und Härtel.
• Finney, DJ (1971). Análisis probit .

Lectura adicional

• Albert, JH; Chib, S. (1993). "Análisis bayesiano de datos de respuesta binarios y policotómicos". Revista de la Asociación Estadounidense de Estadística . 88 (422): 669–679. doi :10.1080/01621459.1993.10476321. JSTOR  2290350.
• Amemiya, Takeshi (1985). "Modelos de respuesta cualitativa". Econometría avanzada . Oxford: Basil Blackwell. págs. 267–359. ISBN. 0-631-13345-3.
• Gouriéroux, Christian (2000). "La dicotomía simple". Econometría de variables dependientes cualitativas . Nueva York: Cambridge University Press. pp. 6–37. ISBN 0-521-58985-1.
• Liao, Tim Futing (1994). Interpretación de modelos de probabilidad: Logit, Probit y otros modelos lineales generalizados . Sage. ISBN 0-8039-4999-5.
• McCullagh, Peter ; John Nelder (1989). Modelos lineales generalizados . Londres: Chapman and Hall. ISBN 0-412-31760-5.

Enlaces externos

• Medios relacionados con el modelo Probit en Wikimedia Commons
• Conferencia sobre econometría (tema: modelo probit) en YouTube por Mark Thoma