Regresión binomial

Técnica de análisis de regresión.

En estadística , la regresión binomial es una técnica de análisis de regresión en la que la respuesta (a menudo denominada Y ) tiene una distribución binomial : es el número de éxitos en una serie de ensayos independientes de Bernoulli , donde cada ensayo tiene probabilidad de éxito . ^[1] En la regresión binomial, la probabilidad de éxito está relacionada con variables explicativas : el concepto correspondiente en la regresión ordinaria es relacionar el valor medio de la respuesta no observada con variables explicativas. ${\displaystyle n}$ ${\displaystyle p}$

La regresión binomial está estrechamente relacionada con la regresión binaria : una regresión binomial puede considerarse una regresión binomial con o una regresión sobre datos binarios no agrupados , mientras que una regresión binomial puede considerarse una regresión sobre datos binarios agrupados (ver comparación). ^[2] Los modelos de regresión binomial son esencialmente los mismos que los modelos de elección binaria , un tipo de modelo de elección discreta : la principal diferencia está en la motivación teórica (ver comparación). En el aprendizaje automático , la regresión binomial se considera un caso especial de clasificación probabilística y, por tanto, una generalización de la clasificación binaria . ${\displaystyle n=1}$

Aplicación de ejemplo

En un ejemplo publicado de una aplicación de regresión binomial, ^[3] los detalles fueron los siguientes. La variable de resultado observada fue si ocurrió o no una falla en un proceso industrial. Había dos variables explicativas: la primera era un factor simple de dos casos que representaba si se utilizaba o no una versión modificada del proceso y la segunda era una variable cuantitativa ordinaria que medía la pureza del material suministrado para el proceso.

Especificación del modelo

Se supone que la variable de respuesta Y tiene una distribución binomial condicionada a las variables explicativas X. Se conoce el número de ensayos n y la probabilidad de éxito de cada ensayo p se especifica como una función θ(X) . Esto implica que la expectativa condicional y la varianza condicional de la fracción observada de éxitos, Y/n , son

${\displaystyle E(Y/n\mid X)=\theta (X)}$

${\displaystyle \operatorname {Var} (Y/n\mid X)=\theta (X)(1-\theta (X))/n}$

El objetivo de la regresión binomial es estimar la función θ(X) . Normalmente, el estadístico supone , para una función conocida m , y estima β . Las opciones comunes para m incluyen la función logística . ^[1] ${\displaystyle \theta (X)=m(\beta ^{\mathrm {T} }X)}$

Los datos a menudo se ajustan como un modelo lineal generalizado donde los valores predichos μ son las probabilidades de que cualquier evento individual resulte exitoso. La probabilidad de las predicciones viene dada entonces por

${\displaystyle L({\boldsymbol {\mu }}\mid Y)=\prod _{i=1}^{n}\left(1_{y_{i}=1}(\mu _{i})+1_{y_{i}=0}(1-\mu _{i})\right),\,\!}$

donde 1 _A es la función indicadora que toma el valor uno cuando ocurre el evento A y cero en caso contrario: en esta formulación, para cualquier observación dada y _i , sólo uno de los dos términos dentro del producto contribuye, según y _i =0 o 1. La función de probabilidad se especifica más completamente definiendo los parámetros formales μ _i como funciones parametrizadas de las variables explicativas: esto define la probabilidad en términos de un número mucho más reducido de parámetros. El ajuste del modelo generalmente se logra empleando el método de máxima verosimilitud para determinar estos parámetros. En la práctica, el uso de una formulación como modelo lineal generalizado permite aprovechar ciertas ideas algorítmicas que son aplicables a toda la clase de modelos más generales pero que no se aplican a todos los problemas de máxima verosimilitud.

Los modelos utilizados en la regresión binomial a menudo pueden ampliarse a datos multinomiales.

Existen muchos métodos para generar los valores de μ de manera sistemática que permitan la interpretación del modelo; se analizan a continuación.

Funciones de enlace

Existe el requisito de que el modelado que vincula las probabilidades μ con las variables explicativas sea de una forma que solo produzca valores en el rango de 0 a 1. Muchos modelos se pueden ajustar a la forma

${\displaystyle {\boldsymbol {\mu }}=g({\boldsymbol {\eta }})\,.}$

Aquí η es una variable intermedia que representa una combinación lineal, que contiene los parámetros de regresión, de las variables explicativas. La función g es la función de distribución acumulativa (cdf) de alguna distribución de probabilidad . Por lo general, esta distribución de probabilidad tiene un soporte de menos infinito a más infinito, de modo que cualquier valor finito de η es transformado por la función g a un valor dentro del rango de 0 a 1.

En el caso de la regresión logística , la función de enlace es el logaritmo del odds ratio o función logística . En el caso de probit , el vínculo es la CDF de la distribución normal . El modelo de probabilidad lineal no es una especificación de regresión binomial adecuada porque no es necesario que las predicciones estén en el rango de cero a uno; a veces se utiliza para este tipo de datos cuando el espacio de probabilidad es donde ocurre la interpretación o cuando el analista carece de la suficiente sofisticación para ajustar o calcular linealizaciones aproximadas de probabilidades para la interpretación.

Comparación con la regresión binaria

La regresión binomial está estrechamente relacionada con la regresión binaria. Si la respuesta es una variable binaria (dos resultados posibles), entonces estas alternativas se pueden codificar como 0 o 1 considerando uno de los resultados como "éxito" y el otro como "fracaso" y considerándolos como datos de conteo : "éxito" es 1 éxito de 1 prueba, mientras que "fracaso" es 0 éxitos de 1 prueba. Esto ahora puede considerarse una distribución binomial con prueba, por lo que una regresión binaria es un caso especial de regresión binomial. Si estos datos se agrupan (sumando recuentos), ya no son datos binarios, sino datos de recuento para cada grupo, y aún pueden modelarse mediante una regresión binomial; los resultados binarios individuales se denominan "datos desagrupados". Una ventaja de trabajar con datos agrupados es que se puede probar la bondad de ajuste del modelo; ^[2] por ejemplo, los datos agrupados pueden presentar una dispersión excesiva en relación con la varianza estimada a partir de los datos no agrupados. ${\displaystyle n=1}$

Comparación con modelos de elección binaria

Un modelo de elección binaria supone una variable latente U _n , la utilidad (o beneficio neto) que la persona n obtiene al realizar una acción (en lugar de no realizarla). La utilidad que la persona obtiene al realizar la acción depende de las características de la persona, algunas de las cuales son observadas por el investigador y otras no:

${\displaystyle U_{n}={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} +\varepsilon _{n}}$

donde es un conjunto de coeficientes de regresión y es un conjunto de variables independientes (también conocidas como "características") que describen a la persona n , que pueden ser " variables ficticias " discretas o variables continuas regulares. es una variable aleatoria que especifica "ruido" o "error" en la predicción, y se supone que está distribuida según alguna distribución. Normalmente, si hay un parámetro de media o varianza en la distribución, no se puede identificar , por lo que los parámetros se establecen en valores convenientes; por convención, generalmente media 0, varianza 1. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \mathbf {s_{n}} }$ ${\displaystyle \varepsilon _{n}}$

La persona realiza la acción, y _n = 1 , si U _n > 0. Se supone que el término no observado, ε _n , tiene una distribución logística .

La especificación está escrita sucintamente como:

• • U _norte = βs _norte + ε _norte
  • ${\displaystyle Y_{n}={\begin{cases}1,&{\text{if }}U_{n}>0,\\0,&{\text{if }}U_{n}\leq 0\end{cases}}}$
  • ε ∼ logística , normal estándar , etc.

Escribámoslo de manera ligeramente diferente:

• • U _norte = βs _norte - mi _norte
  • ${\displaystyle Y_{n}={\begin{cases}1,&{\text{if }}U_{n}>0,\\0,&{\text{if }}U_{n}\leq 0\end{cases}}}$
  • e ∼ logístico , estándar normal , etc.

Aquí hemos hecho la sustitución e _n = − ε _n . Esto cambia una variable aleatoria a una ligeramente diferente, definida sobre un dominio negado. Da la casualidad de que las distribuciones de error que generalmente consideramos (por ejemplo, distribución logística , distribución normal estándar , distribución t de Student estándar , etc.) son simétricas con respecto a 0 y, por lo tanto, la distribución sobre e _n es idéntica a la distribución sobre ε _n .

Denota la función de distribución acumulativa (CDF) de as y la función cuantil (CDF inversa) de as ${\displaystyle e}$ ${\displaystyle F_{e},}$ ${\displaystyle e}$ ${\displaystyle F_{e}^{-1}.}$

Tenga en cuenta que

${\displaystyle {\begin{aligned}\Pr(Y_{n}=1)&=\Pr(U_{n}>0)\\[6pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} -e_{n}>0)\\[6pt]&=\Pr(-e_{n}>-{\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\\[6pt]&=\Pr(e_{n}\leq {\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\\[6pt]&=F_{e}({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\end{aligned}}}$

Ya que es un ensayo de Bernoulli , donde tenemos ${\displaystyle Y_{n}}$ ${\displaystyle \mathbb {E} [Y_{n}]=\Pr(Y_{n}=1),}$

${\displaystyle \mathbb {E} [Y_{n}]=F_{e}({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )}$

o equivalente

${\displaystyle F_{e}^{-1}(\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} .}$

Tenga en cuenta que esto es exactamente equivalente al modelo de regresión binomial expresado en el formalismo del modelo lineal generalizado .

Si, es decir, se distribuye como una distribución normal estándar , entonces ${\displaystyle e_{n}\sim {\mathcal {N}}(0,1),}$

${\displaystyle \Phi ^{-1}(\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} }$

que es exactamente un modelo probit .

Si, es decir, se distribuye como una distribución logística estándar con media 0 y parámetro de escala 1, entonces la función cuantil correspondiente es la función logit , y ${\displaystyle e_{n}\sim \operatorname {Logistic} (0,1),}$

${\displaystyle \operatorname {logit} (\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} }$

que es exactamente un modelo logit .

Tenga en cuenta que los dos formalismos diferentes ( modelos lineales generalizados (GLM) y modelos de elección discreta ) son equivalentes en el caso de modelos de elección binaria simple, pero pueden ampliarse de diferentes maneras:

• Los GLM pueden manejar fácilmente variables de respuesta distribuidas arbitrariamente ( variables dependientes ), no solo variables categóricas u variables ordinales , a las que los modelos de elección discreta están limitados por su naturaleza. Los GLM tampoco se limitan a funciones de enlace que son funciones cuantiles de alguna distribución, a diferencia del uso de una variable de error , que, por supuesto, debe tener una distribución de probabilidad .
• Por otro lado, debido a que los modelos de elección discreta se describen como tipos de modelos generativos , es conceptualmente más fácil extenderlos a situaciones complicadas con opciones múltiples, posiblemente correlacionadas, para cada persona, u otras variaciones.

Interpretación/derivación de variables latentes

Se puede construir un modelo de variable latente que involucra una variable binomial observada Y de modo que Y esté relacionado con la variable latente Y* mediante

${\displaystyle Y={\begin{cases}0,&{\mbox{if }}Y^{*}>0\\1,&{\mbox{if }}Y^{*}<0.\end{cases}}}$

Luego , el modelo relaciona la variable latente Y* con un conjunto de variables de regresión X.

${\displaystyle Y^{*}=X\beta +\epsilon \ .}$

Esto da como resultado un modelo de regresión binomial.

La varianza de ϵ no se puede identificar y cuando no es de interés se suele suponer que es igual a uno. Si ϵ tiene una distribución normal, entonces un probit es el modelo apropiado y si ϵ tiene una distribución log-Weibull , entonces un logit es apropiado. Si ϵ está distribuido uniformemente, entonces es apropiado un modelo de probabilidad lineal.

Ver también

• Modelo de probabilidad lineal
• regresión de Poisson
• Modelado predictivo

Notas

1. Sanford Weisberg (2005). "Regresión binomial". Regresión lineal aplicada . Wiley-IEEE. págs. 253-254. ISBN 0-471-66379-4.
2. Rodríguez 2007, Capítulo 3, p. 5.
3. Cox y Snell (1981), Ejemplo H, pág. 91

Referencias

• Cox, DR ; Snell, EJ (1981). Estadística aplicada: principios y ejemplos. Chapman y Hall. ISBN 0-412-16570-8.
• Rodríguez, Germán (2007). "Apuntes de conferencias sobre modelos lineales generalizados".

Otras lecturas

• Decano, CB (1992). "Prueba de sobredispersión en modelos de regresión binomial y de Poisson". Revista de la Asociación Estadounidense de Estadística . 87 (418). Informa Reino Unido limitado: 451–457. doi :10.1080/01621459.1992.10475225. ISSN  0162-1459. JSTOR  2290276.