modelo probit

Regresión estadística donde la variable dependiente puede tomar solo dos valores

En estadística , un modelo probit es un tipo de regresión donde la variable dependiente puede tomar solo dos valores, por ejemplo casado o no casado. La palabra es un acrónimo que proviene de probabilidad + un it . ^[1] El propósito del modelo es estimar la probabilidad de que una observación con características particulares caiga en una de las categorías específicas; además, clasificar las observaciones en función de sus probabilidades predichas es un tipo de modelo de clasificación binaria .

Un modelo probit es una especificación popular para un modelo de respuesta binaria . Como tal, trata el mismo conjunto de problemas que la regresión logística utilizando técnicas similares. Cuando se ve en el marco del modelo lineal generalizado , el modelo probit emplea una función de enlace probit . ^[2] Generalmente se estima utilizando el procedimiento de máxima verosimilitud , ^[3] dicha estimación se denomina regresión probit .

Marco conceptual

Supongamos que una variable de respuesta Y es binaria , es decir, solo puede tener dos resultados posibles que denotaremos como 1 y 0. Por ejemplo, Y puede representar la presencia/ausencia de una determinada condición, el éxito/fracaso de algún dispositivo, la respuesta es sí/ no en una encuesta, etc. También tenemos un vector de regresores X , que se supone que influyen en el resultado Y. Específicamente, asumimos que el modelo toma la forma

${\displaystyle P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),}$

donde P es la probabilidad y es la función de distribución acumulativa ( CDF ) de la distribución normal estándar . Los parámetros β normalmente se estiman mediante máxima verosimilitud . ${\displaystyle \Phi }$

Es posible motivar el modelo probit como modelo de variable latente . Supongamos que existe una variable aleatoria auxiliar

${\displaystyle Y^{\ast }=X^{T}\beta +\varepsilon ,}$

donde ε ~ N (0, 1). Entonces Y puede verse como un indicador de si esta variable latente es positiva:

${\displaystyle Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}}$

El uso de la distribución normal estándar no causa pérdida de generalidad en comparación con el uso de una distribución normal con una media y una desviación estándar arbitrarias, porque agregar una cantidad fija a la media se puede compensar restando la misma cantidad de la intersección y multiplicando la desviación estándar por una cantidad fija se puede compensar multiplicando los pesos por la misma cantidad.

Para ver que los dos modelos son equivalentes, tenga en cuenta que

${\displaystyle {\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}}$

Estimación del modelo

Estimación de máxima verosimilitud

Supongamos que el conjunto de datos contiene n unidades estadísticas independientes correspondientes al modelo anterior. ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$

Para la observación única, condicionada al vector de entradas de esa observación, tenemos:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}'\beta )}$^{[ se necesita aclaración ]}

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}'\beta )}$

donde es un vector de entradas y es un vector de coeficientes. ${\displaystyle x_{i}}$ ${\displaystyle K\times 1}$ ${\displaystyle \beta }$ ${\displaystyle K\times 1}$

La probabilidad de una sola observación es entonces ${\displaystyle (y_{i},x_{i})}$

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

De hecho, si , entonces y si , entonces . ${\displaystyle y_{i}=1}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$ ${\displaystyle y_{i}=0}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

Dado que las observaciones son independientes y están distribuidas de manera idéntica, entonces la probabilidad de toda la muestra, o la probabilidad conjunta , será igual al producto de las probabilidades de las observaciones individuales:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

La función de probabilidad logarítmica conjunta es, por tanto,

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

El estimador que maximice esta función será consistente , asintóticamente normal y eficiente siempre que exista y no sea singular. Se puede demostrar que esta función de probabilidad logarítmica es globalmente cóncava en y, por lo tanto, los algoritmos numéricos estándar para la optimización convergerán rápidamente al máximo único. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$ ${\displaystyle \beta }$

La distribución asintótica para está dada por ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

dónde

${\displaystyle \Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$^{[ cita necesaria ]}

y es la función de densidad de probabilidad ( PDF ) de distribución normal estándar. ${\displaystyle \varphi =\Phi '}$

También se encuentran disponibles métodos de máxima verosimilitud semiparamétricos y no paramétricos para modelos tipo probit y otros modelos relacionados. ^[4]

Método chi-cuadrado mínimo de Berkson

Este método se puede aplicar sólo cuando hay muchas observaciones de la variable de respuesta que tienen el mismo valor del vector de regresores (esta situación puede denominarse "muchas observaciones por celda"). Más específicamente, el modelo se puede formular de la siguiente manera. ${\displaystyle y_{i}}$ ${\displaystyle x_{i}}$

Supongamos que entre n observaciones solo hay T valores distintos de los regresores, que pueden denotarse como . Sea el número de observaciones con y el número de dichas observaciones con . Suponemos que efectivamente hay "muchas" observaciones por cada "celda": para cada . ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$ ${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{i}=x_{(t)},}$ ${\displaystyle r_{t}}$ ${\displaystyle y_{i}=1}$ ${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$

Denotar

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

Entonces, el estimador mínimo de chi-cuadrado de Berkson es un estimador de mínimos cuadrados generalizado en una regresión de con ponderaciones : ${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$ ${\displaystyle x_{(t)}}$ ${\displaystyle {\hat {\sigma }}_{t}^{-2}}$

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

Se puede demostrar que este estimador es consistente (ya que n →∞ y T son fijos), asintóticamente normal y eficiente. ^{[ cita necesaria ]} Su ventaja es la presencia de una fórmula de forma cerrada para el estimador. Sin embargo, sólo tiene sentido llevar a cabo este análisis cuando no se dispone de observaciones individuales, sólo de sus recuentos agregados , , y (por ejemplo, en el análisis del comportamiento electoral). ${\displaystyle r_{t}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{(t)}}$

muestreo de gibbs

El muestreo de Gibbs de un modelo probit es posible porque los modelos de regresión suelen utilizar distribuciones previas normales sobre las ponderaciones, y esta distribución se conjuga con la distribución normal de los errores (y, por tanto, de las variables latentes Y ^* ). El modelo se puede describir como

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

A partir de esto, podemos determinar las densidades condicionales completas necesarias:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}}$

El resultado de se da en el artículo sobre regresión lineal bayesiana , aunque se especifica con notación diferente. ${\displaystyle {\boldsymbol {\beta }}}$

El único truco está en las dos últimas ecuaciones. La notación es el corchete de Iverson , a veces escrito o similar. Indica que la distribución debe truncarse dentro del rango dado y reescalarse adecuadamente. En este caso particular surge una distribución normal truncada . El muestreo de esta distribución depende de cuánto se trunca. Si queda una gran fracción de la masa original, el muestreo se puede realizar fácilmente con muestreo de rechazo : simplemente muestree un número de la distribución no truncada y rechácelo si queda fuera de la restricción impuesta por el truncamiento. Sin embargo, si se toma solo una pequeña fracción de la masa original (por ejemplo, si se toma una muestra de una de las colas de la distribución normal, por ejemplo, si es alrededor de 3 o más y se desea una muestra negativa), entonces esto será ineficiente y se hace necesario recurrir a otros algoritmos de muestreo. El muestreo general de la normal truncada se puede lograr utilizando aproximaciones a la CDF normal y la función probit , y R tiene una función para generar muestras normales truncadas. ${\displaystyle [y_{i}^{\ast }<0]}$ ${\displaystyle {\mathcal {I}}(y_{i}^{\ast }<0)}$ ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}}$rtnorm()

Evaluación del modelo

La idoneidad de un modelo binario estimado se puede evaluar contando el número de observaciones verdaderas que equivalen a 1 y el número que equivale a cero, para las cuales el modelo asigna una clasificación predicha correcta al tratar cualquier probabilidad estimada superior a 1/2 (o inferior a 1/2). 2), como una asignación de una predicción de 1 (o de 0). Consulte Regresión logística § Modelo para obtener más detalles.

Rendimiento bajo especificación errónea

Considere la formulación del modelo de variable latente del modelo probit. Cuando la varianza del condicional no es constante sino dependiente de , entonces surge el problema de la heterocedasticidad . Por ejemplo, supongamos que y dónde es una variable explicativa positiva continua. Bajo heterocedasticidad, el estimador probit suele ser inconsistente y la mayoría de las pruebas sobre los coeficientes no son válidas. Más importante aún, el estimador de también se vuelve inconsistente. Para solucionar este problema, es necesario transformar el modelo original para que sea homocedástico. Por ejemplo, en el mismo ejemplo, se puede reescribir como , donde . Por lo tanto, ejecutar probit genera un estimador consistente para la probabilidad condicional ${\displaystyle \varepsilon }$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon }$ ${\displaystyle \varepsilon \mid x\sim N(0,x_{1}^{2})}$ ${\displaystyle x_{1}}$ ${\displaystyle \beta }$ ${\displaystyle P(y=1\mid x)}$ ${\displaystyle 1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]}$ ${\displaystyle 1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]}$ ${\displaystyle \varepsilon /x_{1}\mid x\sim N(0,1)}$ ${\displaystyle P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})}$ ${\displaystyle (1,1/x_{1})}$ ${\displaystyle P(y=1\mid x).}$

Cuando el supuesto de distribución normal no se cumple, surge un problema de especificación errónea de la forma funcional : si el modelo todavía se estima como un modelo probit, los estimadores de los coeficientes son inconsistentes. Por ejemplo, si sigue una distribución logística en el modelo verdadero, pero el modelo se estima mediante probit, las estimaciones serán generalmente menores que el valor real. Sin embargo, la inconsistencia de las estimaciones de los coeficientes es prácticamente irrelevante porque las estimaciones de los efectos parciales, , estarán cercanas a las estimaciones dadas por el modelo logit verdadero. ^[5] ${\displaystyle \varepsilon }$ ${\displaystyle \beta }$ ${\displaystyle \varepsilon }$ ${\displaystyle \partial P(y=1\mid x)/\partial x_{i'}}$

Para evitar el problema de la especificación errónea de la distribución, se puede adoptar un supuesto de distribución general para el término de error, de modo que se puedan incluir muchos tipos diferentes de distribución en el modelo. El costo es un cálculo más pesado y una menor precisión por el aumento del número de parámetros. ^[6] En la mayoría de los casos en la práctica donde la forma de distribución está mal especificada, los estimadores de los coeficientes son inconsistentes, pero los estimadores de la probabilidad condicional y los efectos parciales siguen siendo muy buenos. ^{[ cita necesaria ]}

También se pueden adoptar enfoques semiparamétricos o no paramétricos, por ejemplo, a través de métodos de verosimilitud local o de cuasiverosimilitud no paramétricos, que evitan supuestos en una forma paramétrica para la función de índice y son robustos a la elección de la función de enlace (por ejemplo, probit o logit). ^[4]

Historia

El modelo probit suele atribuirse a Chester Bliss , quien acuñó el término "probit" en 1934, ^[7] y a John Gaddum (1933), quien sistematizó trabajos anteriores. ^[8] Sin embargo, el modelo básico data de la ley de Weber-Fechner de Gustav Fechner , publicada en Fechner (1860), y fue redescubierta repetidamente hasta la década de 1930; véase Finney (1971, capítulo 3.6) y Aitchison y Brown (1957, capítulo 1.2). ^[8]

Ronald Fisher propuso un método rápido para calcular estimaciones de máxima verosimilitud para el modelo probit como apéndice al trabajo de Bliss en 1935. ^[9]

Ver también

• Modelo lineal generalizado
• Variable dependiente limitada
• modelo logit
• Probit multinomial
• Modelos probit multivariados
• Modelo probit ordenado y logit ordenado
• Separación (estadísticas)
• modelo tobit

Referencias

1. Diccionario de ingles Oxford , 3ª ed. sv probit (artículo de junio de 2007): Bliss, CI (1934). "El método de los Probits". Ciencia . 79 (2037): 38–39. Código bibliográfico : 1934 Ciencia....79...38B. doi :10.1126/ciencia.79.2037.38. PMID  17813446. Estas unidades de probabilidad arbitrarias se han denominado "probits".
2. Agresti, Alan (2015). Fundamentos de Modelos Lineales y Lineales Generalizados . Nueva York: Wiley. págs. 183–186. ISBN 978-1-118-73003-4.
3. Aldrich, John H.; Nelson, Forrest D.; Adler, E.Scott (1984). Modelos de probabilidad lineal, logit y probit. Sabio. págs. 48–65. ISBN 0-8039-2133-0.
4. Park, Byeong U.; Simar, Leopoldo; Zelenyuk, Valentín (2017). "Estimación no paramétrica de modelos dinámicos de elección discreta para datos de series de tiempo" (PDF) . Estadística computacional y análisis de datos . 108 : 97-120. doi :10.1016/j.csda.2016.10.024.
5. Greene, WH (2003), Análisis econométrico, Prentice Hall, Upper Saddle River, Nueva Jersey.
6. Para obtener más detalles, consulte: Cappé, O., Moulines, E. y Ryden, T. (2005): "Inference in Hidden Markov Models", Springer-Verlag New York, Capítulo 2.
7. Bienaventuranza, CI (1934). "El método de los Probits". Ciencia . 79 (2037): 38–39. Código Bib : 1934 Ciencia.... 79... 38B. doi :10.1126/ciencia.79.2037.38. PMID  17813446.
8. Cramer 2002, pág. 7.
9. Pescador, RA (1935). "El caso de los supervivientes cero en los ensayos Probit". Anales de biología aplicada . 22 : 164–165. doi :10.1111/j.1744-7348.1935.tb07713.x. Archivado desde el original el 30 de abril de 2014.

• Aitchison, John; Marrón, James Alan Calvert (1957). La distribución lognormal: con especial referencia a sus usos en economía. Prensa universitaria. ISBN 978-0-521-04011-2.
• Cramer, JS (2002). Los orígenes de la regresión logística (PDF) (Informe técnico). vol. 119. Instituto Tinbergen. págs. 167-178. doi :10.2139/ssrn.360300.
  • Publicado en: Cramer, JS (2004). "Los primeros orígenes del modelo logit". Estudios de Historia y Filosofía de la Ciencia Parte C: Estudios de Historia y Filosofía de las Ciencias Biológicas y Biomédicas . 35 (4): 613–626. doi :10.1016/j.shpsc.2004.09.003.
• Fechner, Gustav Theodor (1860). Elemente der Psychophysik [ Elementos de la psicofísica ]. vol. banda 2. Leipzig: Breitkopf und Härtel.
• Finney, DJ (1971). Análisis probit .

Otras lecturas

• Alberto, JH; Chib, S. (1993). "Análisis bayesiano de datos de respuesta binaria y policotómica". Revista de la Asociación Estadounidense de Estadística . 88 (422): 669–679. doi :10.1080/01621459.1993.10476321. JSTOR  2290350.
• Amemiya, Takeshi (1985). "Modelos de respuesta cualitativa". Econometría avanzada . Oxford: Albahaca Blackwell. págs. 267–359. ISBN 0-631-13345-3.
• Gouriéroux, Christian (2000). "La dicotomía simple". Econometría de Variables Cualitativas Dependientes . Nueva York: Cambridge University Press. págs. 6–37. ISBN 0-521-58985-1.
• Liao, Tim Futing (1994). Interpretación de modelos de probabilidad: logit, probit y otros modelos lineales generalizados . Sabio. ISBN 0-8039-4999-5.
• McCullagh, Pedro ; John Nelder (1989). Modelos lineales generalizados . Londres: Chapman y Hall. ISBN 0-412-31760-5.

enlaces externos

• Medios relacionados con el modelo Probit en Wikimedia Commons
• Conferencia de econometría (tema: modelo Probit) en YouTube por Mark Thoma