Regresión lineal

Método de modelado estadístico.

En estadística , la regresión lineal es un modelo estadístico que estima la relación lineal entre una respuesta escalar y una o más variables explicativas (también conocidas como variables dependientes e independientes ). El caso de una variable explicativa se denomina regresión lineal simple ; para más de uno, el proceso se llama regresión lineal múltiple . ^[1] Este término es distinto de la regresión lineal multivariada , donde se predicen múltiples variables dependientes correlacionadas , en lugar de una única variable escalar. ^[2] Si las variables explicativas se miden con error, entonces se requieren modelos de errores en las variables , también conocidos como modelos de error de medición.

En la regresión lineal, las relaciones se modelan utilizando funciones predictoras lineales cuyos parámetros desconocidos del modelo se estiman a partir de los datos . Estos modelos se denominan modelos lineales . ^[3] Más comúnmente, se supone que la media condicional de la respuesta dados los valores de las variables explicativas (o predictores) es una función afín de esos valores; con menor frecuencia se utiliza la mediana condicional o algún otro cuantil . Como todas las formas de análisis de regresión , la regresión lineal se centra en la distribución de probabilidad condicional de la respuesta dados los valores de los predictores, en lugar de en la distribución de probabilidad conjunta de todas estas variables, que es el dominio del análisis multivariado .

La regresión lineal fue el primer tipo de análisis de regresión que se estudió rigurosamente y se utilizó ampliamente en aplicaciones prácticas. ^[4] Esto se debe a que los modelos que dependen linealmente de sus parámetros desconocidos son más fáciles de ajustar que los modelos que no están relacionados linealmente con sus parámetros y porque las propiedades estadísticas de los estimadores resultantes son más fáciles de determinar.

La regresión lineal tiene muchos usos prácticos. La mayoría de las aplicaciones se clasifican en una de las dos categorías amplias siguientes:

• Si el objetivo es el error, es decir, la reducción de la varianza en la predicción o el pronóstico , se puede utilizar la regresión lineal para ajustar un modelo predictivo a un conjunto de datos observados de valores de la respuesta y variables explicativas. Después de desarrollar dicho modelo, si se recopilan valores adicionales de las variables explicativas sin un valor de respuesta que lo acompañe, el modelo ajustado se puede utilizar para hacer una predicción de la respuesta.
• Si el objetivo es explicar la variación en la variable de respuesta que puede atribuirse a la variación en las variables explicativas, se puede aplicar el análisis de regresión lineal para cuantificar la fuerza de la relación entre la respuesta y las variables explicativas y, en particular, para determinar si algunas las variables explicativas pueden no tener ninguna relación lineal con la respuesta, o para identificar qué subconjuntos de variables explicativas pueden contener información redundante sobre la respuesta.

Los modelos de regresión lineal a menudo se ajustan utilizando el enfoque de mínimos cuadrados , pero también se pueden ajustar de otras maneras, como minimizando la " falta de ajuste " en alguna otra norma (como ocurre con la regresión de mínimas desviaciones absolutas ), o minimizando una penalización. versión de la función de costo de mínimos cuadrados como en la regresión de cresta ( penalización normal L ² ) y lazo ( penalización normal L ¹ ). El uso del error cuadrático medio (MSE) como costo en un conjunto de datos que tiene muchos valores atípicos grandes puede dar como resultado un modelo que se ajuste a los valores atípicos más que a los datos verdaderos debido a la mayor importancia asignada por el MSE a los errores grandes. Por lo tanto, se deben utilizar funciones de costos que sean resistentes a los valores atípicos si el conjunto de datos tiene muchos valores atípicos grandes . Por el contrario, el enfoque de mínimos cuadrados se puede utilizar para ajustar modelos que no son lineales. Por tanto, aunque los términos "mínimos cuadrados" y "modelo lineal" están estrechamente relacionados, no son sinónimos.

Formulación

En la regresión lineal, se supone que las observaciones ( rojo ) son el resultado de desviaciones aleatorias ( verde ) de una relación subyacente ( azul ) entre una variable dependiente ( y ) y una variable independiente ( x ).

Dado un conjunto de datos de n unidades estadísticas , un modelo de regresión lineal supone que la relación entre la variable dependiente y y el vector de regresores x es lineal . Esta relación se modela mediante un término de perturbación o variable de error ε , una variable aleatoria no observada que añade "ruido" a la relación lineal entre la variable dependiente y los regresores. Así el modelo toma la forma ${\displaystyle \{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}}$

$${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},\qquad i=1,\ldots ,n,}$$

^Ttranspuestax _i ^T βproducto internolos vectores x _iβ

A menudo, estas n ecuaciones se apilan juntas y se escriben en notación matricial como

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

dónde

${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}},\quad }$

${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}},}$

${\displaystyle {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}.}$

Notación y terminología

• ${\displaystyle \mathbf {y} }$es un vector de valores observados de la variable denominada regresada , variable endógena , variable de respuesta , variable objetivo , variable medida , variable de criterio o variable dependiente . Esta variable también se conoce a veces como variable predicha , pero no debe confundirse con los valores predichos , que se denotan . La decisión sobre qué variable de un conjunto de datos se modela como variable dependiente y cuáles se modelan como variables independientes puede basarse en la presunción de que el valor de una de las variables es causado o influenciado directamente por las otras variables. Alternativamente, puede haber una razón operativa para modelar una de las variables en términos de las demás, en cuyo caso no necesita haber presunción de causalidad. ${\displaystyle y_{i}\ (i=1,\ldots ,n)}$ ${\displaystyle {\hat {y}}}$
• ${\displaystyle \mathbf {X} }$puede verse como una matriz de vectores de fila o de vectores de columna de n dimensiones , que se conocen como regresores , variables exógenas , variables explicativas , covariables , variables de entrada , variables predictoras o variables independientes (no confundir con el concepto de variables aleatorias independientes ). La matriz a veces se denomina matriz de diseño . ${\displaystyle \mathbf {x} _{i\cdot }}$ ${\displaystyle \mathbf {x} _{\cdot j}}$ ${\displaystyle \mathbf {X} }$
  • Normalmente se incluye una constante como uno de los regresores. En particular, para . El elemento correspondiente de β se llama intercepto . Muchos procedimientos de inferencia estadística para modelos lineales requieren que esté presente una intersección, por lo que a menudo se incluye incluso si consideraciones teóricas sugieren que su valor debería ser cero. ${\displaystyle x_{i0}=1}$ ${\displaystyle i=1,\ldots ,n}$
  • A veces, uno de los regresores puede ser una función no lineal de otro regresor o de los valores de los datos, como en la regresión polinómica y la regresión segmentada . El modelo permanece lineal mientras sea lineal en el vector de parámetros β .
  • Los valores x _ij pueden verse como valores observados de variables aleatorias X _j o como valores fijos elegidos antes de observar la variable dependiente. Ambas interpretaciones pueden ser apropiadas en casos diferentes y generalmente conducen a los mismos procedimientos de estimación; sin embargo, en estas dos situaciones se utilizan diferentes enfoques para el análisis asintótico.
• ${\displaystyle {\boldsymbol {\beta }}}$es un vector de parámetros -dimensional , donde es el término de intersección (si se incluye uno en el modelo; de lo contrario, es p -dimensional). Sus elementos se conocen como efectos o coeficientes de regresión (aunque este último término en ocasiones se reserva para los efectos estimados ). En regresión lineal simple , p = 1, y el coeficiente se conoce como pendiente de regresión. ${\displaystyle (p+1)}$ ${\displaystyle \beta _{0}}$ ${\displaystyle {\boldsymbol {\beta }}}$. La estimación estadística y la inferencia en regresión lineal se centran en β . Los elementos de este vector de parámetros se interpretan como las derivadas parciales de la variable dependiente con respecto a las distintas variables independientes.
• ${\displaystyle {\boldsymbol {\varepsilon }}}$es un vector de valores . Esta parte del modelo se denomina término de error , término de perturbación o, a veces, ruido (en contraste con la "señal" proporcionada por el resto del modelo). Esta variable captura todos los demás factores que influyen en la variable dependiente y distintos de los regresores x . La relación entre el término de error y los regresores, por ejemplo su correlación , es una consideración crucial al formular un modelo de regresión lineal, ya que determinará el método de estimación apropiado. ${\displaystyle \varepsilon _{i}}$

Ajustar un modelo lineal a un conjunto de datos dado generalmente requiere estimar los coeficientes de regresión de manera que se minimice el término de error . Por ejemplo, es común utilizar la suma de errores al cuadrado como medida de minimización. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$ ${\displaystyle \|{\boldsymbol {\varepsilon }}\|_{2}^{2}}$ ${\displaystyle {\boldsymbol {\varepsilon }}}$

Ejemplo

Considere una situación en la que se lanza una pequeña pelota al aire y luego medimos sus alturas de ascenso h _i en varios momentos en el _tiempo ti . La física nos dice que, ignorando el arrastre, la relación se puede modelar como

${\displaystyle h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},}$

donde β ₁ determina la velocidad inicial de la pelota, β ₂ es proporcional a la gravedad estándar y ε _i se debe a errores de medición. Se puede utilizar la regresión lineal para estimar los valores de β ₁ y β ₂ a partir de los datos medidos. Este modelo es no lineal en la variable tiempo, pero sí lineal en los parámetros β ₁ y β ₂ ; si tomamos regresores x _i  = ( x _{i 1} , x _{i 2} ) = ( t _i , t _i ² ), el modelo toma la forma estándar

${\displaystyle h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.}$

Suposiciones

Los modelos de regresión lineal estándar con técnicas de estimación estándar hacen una serie de supuestos sobre las variables predictoras, las variables de respuesta y su relación. Se han desarrollado numerosas extensiones que permiten relajar cada uno de estos supuestos (es decir, reducirlos a una forma más débil) y, en algunos casos, eliminarlos por completo. Generalmente estas extensiones hacen que el procedimiento de estimación sea más complejo y requiere más tiempo, y también pueden requerir más datos para producir un modelo igualmente preciso. ^{[ cita necesaria ]}

Ejemplo de regresión polinómica cúbica, que es un tipo de regresión lineal. Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión E( y | x ) es lineal en los parámetros desconocidos que se estiman a partir de los datos . Por este motivo, la regresión polinomial se considera un caso especial de regresión lineal múltiple .

Los siguientes son los principales supuestos hechos por los modelos de regresión lineal estándar con técnicas de estimación estándar (por ejemplo, mínimos cuadrados ordinarios ):

• Exogeneidad débil . Básicamente, esto significa que las variables predictoras x pueden tratarse como valores fijos, en lugar de variables aleatorias . Esto significa, por ejemplo, que se supone que las variables predictoras están libres de errores, es decir, no contaminadas con errores de medición. Aunque este supuesto no es realista en muchos entornos, eliminarlo conduce a modelos de errores en variables significativamente más difíciles .
• Linealidad . Esto significa que la media de la variable respuesta es una combinación lineal de los parámetros (coeficientes de regresión) y las variables predictoras. Tenga en cuenta que este supuesto es mucho menos restrictivo de lo que parece a primera vista. Debido a que las variables predictoras se tratan como valores fijos (ver arriba), la linealidad es en realidad solo una restricción de los parámetros. Las propias variables predictoras se pueden transformar arbitrariamente y, de hecho, se pueden agregar múltiples copias de la misma variable predictora subyacente, cada una transformada de manera diferente. Esta técnica se utiliza, por ejemplo, en la regresión polinómica , que utiliza la regresión lineal para ajustar la variable de respuesta como una función polinómica arbitraria (hasta un grado determinado) de una variable predictiva. Con tanta flexibilidad, los modelos como la regresión polinómica a menudo tienen "demasiado poder", ya que tienden a sobreajustar los datos. Como resultado, normalmente se debe utilizar algún tipo de regularización para evitar que surjan soluciones irrazonables del proceso de estimación. Ejemplos comunes son la regresión de crestas y la regresión de lazo . También se puede utilizar la regresión lineal bayesiana , que por su naturaleza es más o menos inmune al problema del sobreajuste. (De hecho, la regresión de cresta y la regresión de lazo pueden verse como casos especiales de regresión lineal bayesiana, con tipos particulares de distribuciones previas colocadas en los coeficientes de regresión).

• 

  Visualización de heterocedasticidad en un diagrama de dispersión frente a 100 valores ajustados aleatorios usando Matlab

  Varianza constante (también conocida como homocedasticidad ). Esto significa que la varianza de los errores no depende de los valores de las variables predictoras. Por tanto, la variabilidad de las respuestas para valores fijos dados de los predictores es la misma independientemente de cuán grandes o pequeñas sean las respuestas. A menudo, este no es el caso, ya que una variable cuya media es grande normalmente tendrá una varianza mayor que una cuya media es pequeña. Por ejemplo, una persona cuyo ingreso se prevé que será de $100 000 puede fácilmente tener un ingreso real de $80 000 o $120 000 (es decir, una desviación estándar de alrededor de $20 000), mientras que es poco probable que otra persona con un ingreso previsto de $10 000 tenga la misma desviación estándar de $20 000. , ya que eso implicaría que sus ingresos reales podrían variar entre −$10 000 y $30 000. (De hecho, como esto muestra, en muchos casos (a menudo los mismos casos en los que falla el supuesto de errores normalmente distribuidos) se debe predecir que la varianza o desviación estándar será proporcional a la media, en lugar de constante.) La ausencia de homocedasticidad es llamado heterocedasticidad . Para verificar esta suposición, se puede examinar una gráfica de residuos versus valores predichos (o los valores de cada predictor individual) para detectar un "efecto de abanico" (es decir, aumentar o disminuir la dispersión vertical a medida que uno se mueve de izquierda a derecha en la gráfica). . También se puede examinar una gráfica de los residuos absolutos o cuadrados versus los valores predichos (o cada predictor) para detectar una tendencia o curvatura. También se pueden utilizar pruebas formales; ver Heteroscedasticidad . La presencia de heterocedasticidad dará como resultado que se utilice una estimación "promedio" general de la varianza en lugar de una que tenga en cuenta la verdadera estructura de la varianza. Esto conduce a estimaciones de parámetros menos precisas (pero en el caso de mínimos cuadrados ordinarios , no sesgadas) y errores estándar sesgados, lo que da lugar a pruebas y estimaciones de intervalos engañosas. El error cuadrático medio del modelo también será incorrecto. Varias técnicas de estimación, incluidos los mínimos cuadrados ponderados y el uso de errores estándar consistentes con la heteroscedasticidad , pueden manejar la heteroscedasticidad de una manera bastante general. Las técnicas de regresión lineal bayesiana también se pueden utilizar cuando se supone que la varianza es función de la media. En algunos casos, también es posible solucionar el problema aplicando una transformación a la variable de respuesta (por ejemplo, ajustando el logaritmo de la variable de respuesta usando un modelo de regresión lineal, lo que implica que la variable de respuesta en sí tiene una distribución log-normal en lugar de una distribución normal ).

Para comprobar si hay violaciones de los supuestos de linealidad, varianza constante e independencia de errores dentro de un modelo de regresión lineal, los residuos generalmente se trazan frente a los valores predichos (o cada uno de los predictores individuales). Una dispersión aparentemente aleatoria de puntos alrededor de la línea media horizontal en 0 es ideal, pero no puede descartar ciertos tipos de violaciones como la autocorrelación en los errores o su correlación con una o más covariables.

• Independencia de errores . Esto supone que los errores de las variables de respuesta no están correlacionados entre sí. ( La independencia estadística real es una condición más fuerte que la mera falta de correlación y a menudo no es necesaria, aunque puede explotarse si se sabe que se cumple). Algunos métodos, como los mínimos cuadrados generalizados, son capaces de manejar errores correlacionados, aunque normalmente requieren significativamente más datos a menos que se utilice algún tipo de regularización para sesgar el modelo y asumir errores no correlacionados. La regresión lineal bayesiana es una forma general de abordar este problema.
• Falta de multicolinealidad perfecta en los predictores. Para los métodos de estimación de mínimos cuadrados estándar , la matriz de diseño X debe tener un rango de columna completo p ; de lo contrario, existe una multicolinealidad perfecta en las variables predictoras, lo que significa que existe una relación lineal entre dos o más variables predictoras. Esto puede deberse a la duplicación accidental de una variable en los datos, al uso de una transformación lineal de una variable junto con la original (por ejemplo, las mismas mediciones de temperatura expresadas en Fahrenheit y Celsius), o al incluir una combinación lineal de múltiples variables en el modelo. como su media. También puede suceder si hay muy pocos datos disponibles en comparación con la cantidad de parámetros que se estimarán (por ejemplo, menos puntos de datos que coeficientes de regresión). Las casi violaciones de este supuesto, donde los predictores están altamente correlacionados pero no perfectamente, pueden reducir la precisión de las estimaciones de los parámetros (ver Factor de inflación de varianza ). En el caso de multicolinealidad perfecta, el vector de parámetros β no será identificable : no tiene solución única. En tal caso, sólo algunos de los parámetros pueden identificarse (es decir, sus valores sólo pueden estimarse dentro de algún subespacio lineal del espacio de parámetros completo R ^p ). Véase regresión parcial de mínimos cuadrados . Se han desarrollado métodos para ajustar modelos lineales con multicolinealidad, ^{[5] [6] [7] [8]} algunos de los cuales requieren suposiciones adicionales como la "escasez de efectos": que una gran fracción de los efectos son exactamente cero. Tenga en cuenta que los algoritmos iterados más costosos desde el punto de vista computacional para la estimación de parámetros, como los utilizados en los modelos lineales generalizados , no sufren este problema.

Las violaciones de estos supuestos pueden dar como resultado estimaciones sesgadas de β , errores estándar sesgados, intervalos de confianza no confiables y pruebas de significancia. ^[9] Más allá de estos supuestos, varias otras propiedades estadísticas de los datos influyen fuertemente en el rendimiento de diferentes métodos de estimación:

• La relación estadística entre los términos de error y los regresores juega un papel importante a la hora de determinar si un procedimiento de estimación tiene propiedades de muestreo deseables, como ser insesgado y consistente.
• La disposición o distribución de probabilidad de las variables predictoras x tiene una influencia importante en la precisión de las estimaciones de β . El muestreo y el diseño de experimentos son subcampos de la estadística altamente desarrollados que brindan orientación para recopilar datos de tal manera que se logre una estimación precisa de β .

Interpretación

Los conjuntos de datos del cuarteto de Anscombe están diseñados para tener aproximadamente la misma línea de regresión lineal (así como medias, desviaciones estándar y correlaciones casi idénticas), pero gráficamente son muy diferentes. Esto ilustra los peligros de confiar únicamente en un modelo ajustado para comprender la relación entre variables.

Se puede utilizar un modelo de regresión lineal ajustado para identificar la relación entre una única variable predictora xj y la variable de respuesta y cuando todas las demás _variables predictoras del modelo se "mantienen fijas". Específicamente, la interpretación de β _j es el cambio esperado en y para un cambio de una unidad en x _j cuando las otras covariables se mantienen fijas, es decir, el valor esperado de la derivada parcial de y con respecto a x _j . A esto a veces se le llama efecto único de xj sobre y _. Por el contrario, el efecto marginal de x _j sobre y se puede evaluar utilizando un coeficiente de correlación o un modelo de regresión lineal simple que relacione sólo x _j con y ; este efecto es la derivada total de y con respecto a x _j .

Se debe tener cuidado al interpretar los resultados de la regresión, ya que algunos de los regresores pueden no permitir cambios marginales (como variables ficticias o el término del intercepto), mientras que otros no pueden mantenerse fijos (recuerde el ejemplo de la introducción: sería imposible para "mantener t _i fijo" y al mismo tiempo cambiar el valor de t _i ² ).

Es posible que el efecto único sea casi nulo incluso cuando el efecto marginal sea grande. Esto puede implicar que alguna otra covariable capture toda la información en x _j , de modo que una vez que esa variable esté en el modelo, no hay contribución de x _j a la variación en y . Por el contrario, el efecto único de x _j puede ser grande mientras que su efecto marginal es casi nulo. Esto sucedería si las otras covariables explicaran gran parte de la variación de y , pero explicaran principalmente la variación de una manera complementaria a la capturada por x _j . En este caso, incluir las otras variables en el modelo reduce la parte de la variabilidad de y que no está relacionada con x _j , fortaleciendo así la aparente relación con x _j .

El significado de la expresión "mantenido fijo" puede depender de cómo surgen los valores de las variables predictoras. Si el experimentador establece directamente los valores de las variables predictoras de acuerdo con el diseño de un estudio, las comparaciones de interés pueden corresponder literalmente a comparaciones entre unidades cuyas variables predictoras han sido "mantenidas fijas" por el experimentador. Alternativamente, la expresión "mantenido fijo" puede referirse a una selección que tiene lugar en el contexto del análisis de datos. En este caso, "mantenemos fija una variable" restringiendo nuestra atención a los subconjuntos de datos que tienen un valor común para la variable predictiva dada. Ésta es la única interpretación de "mantenido fijo" que se puede utilizar en un estudio observacional.

La noción de "efecto único" resulta atractiva cuando se estudia un sistema complejo donde múltiples componentes interrelacionados influyen en la variable de respuesta. En algunos casos, puede interpretarse literalmente como el efecto causal de una intervención vinculado al valor de una variable predictiva. Sin embargo, se ha argumentado que en muchos casos el análisis de regresión múltiple no logra aclarar las relaciones entre las variables predictoras y la variable respuesta cuando los predictores están correlacionados entre sí y no se asignan siguiendo un diseño de estudio. ^[10]

Extensiones

Se han desarrollado numerosas extensiones de la regresión lineal, que permiten relajar algunos o todos los supuestos subyacentes al modelo básico.

Regresión lineal simple y múltiple

Ejemplo de regresión lineal simple , que tiene una variable independiente

El caso más simple de una única variable predictora escalar x y una única variable de respuesta escalar y se conoce como regresión lineal simple . La extensión a variables predictivas múltiples y/o con valores vectoriales (indicadas con una X mayúscula ) se conoce como regresión lineal múltiple , también conocida como regresión lineal multivariable (no debe confundirse con regresión lineal multivariada ^[11] ).

La regresión lineal múltiple es una generalización de la regresión lineal simple al caso de más de una variable independiente y un caso especial de modelos lineales generales, restringidos a una variable dependiente. El modelo básico para la regresión lineal múltiple es

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}}$

para cada observación . ${\textstyle i=1,\ldots ,n}$

En la fórmula anterior consideramos n observaciones de una variable dependiente y p variables independientes. Por lo tanto, Y _i es la i- ^ésima observación de la variable dependiente, X _ij es la i ^-ésima observación de la j ^- ésima variable independiente, j = 1, 2, ..., p . Los valores β _j representan parámetros a estimar, y ε _i es el i ^-ésimo error normal independiente distribuido idénticamente.

En la regresión lineal multivariada más general, hay una ecuación de la forma anterior para cada una de m > 1 variables dependientes que comparten el mismo conjunto de variables explicativas y, por lo tanto, se estiman simultáneamente entre sí:

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}}$

para todas las observaciones indexadas como i = 1, ... , n y para todas las variables dependientes indexadas como j = 1, ... , m .

Casi todos los modelos de regresión del mundo real implican múltiples predictores, y las descripciones básicas de la regresión lineal a menudo se expresan en términos del modelo de regresión múltiple. Sin embargo, tenga en cuenta que en estos casos la variable de respuesta y sigue siendo un escalar. Otro término, regresión lineal multivariada , se refiere a los casos en los que y es un vector, es decir, lo mismo que la regresión lineal general .

Modelos lineales generales

El modelo lineal general considera la situación en la que la variable de respuesta no es un escalar (para cada observación) sino un vector, y _i . Todavía se supone la linealidad condicional de , con una matriz B que reemplaza el vector β del modelo de regresión lineal clásico. Se han desarrollado análogos multivariados de mínimos cuadrados ordinarios (OLS) y mínimos cuadrados generalizados (GLS). Los "modelos lineales generales" también se denominan "modelos lineales multivariados". Estos no son lo mismo que los modelos lineales multivariables (también llamados "modelos lineales múltiples"). ${\displaystyle E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B}$

Modelos heterocedásticos

Se han creado varios modelos que permiten la heterocedasticidad , es decir, los errores de diferentes variables de respuesta pueden tener diferentes varianzas . Por ejemplo, los mínimos cuadrados ponderados son un método para estimar modelos de regresión lineal cuando las variables de respuesta pueden tener diferentes varianzas de error, posiblemente con errores correlacionados. (Consulte también Mínimos cuadrados lineales ponderados y Mínimos cuadrados generalizados ). Los errores estándar consistentes con heteroscedasticidad son un método mejorado para su uso con errores no correlacionados pero potencialmente heteroscedásticos.

Modelos lineales generalizados

Los modelos lineales generalizados (GLM) son un marco para modelar variables de respuesta que son acotadas o discretas. Esto se utiliza, por ejemplo:

• al modelar cantidades positivas (por ejemplo, precios o poblaciones) que varían a gran escala, que se describen mejor utilizando una distribución sesgada como la distribución log-normal o la distribución de Poisson (aunque los GLM no se utilizan para datos log-normales, sino que la respuesta la variable simplemente se transforma usando la función logaritmo);
• al modelar datos categóricos , como la elección de un candidato determinado en una elección (que se describe mejor usando una distribución de Bernoulli / distribución binomial para opciones binarias, o una distribución categórica / distribución multinomial para opciones de múltiples vías), donde hay una número fijo de opciones que no se pueden ordenar de manera significativa;
• al modelar datos ordinales , por ejemplo, calificaciones en una escala de 0 a 5, donde los diferentes resultados se pueden ordenar pero donde la cantidad en sí misma puede no tener ningún significado absoluto (por ejemplo, una calificación de 4 no puede ser "dos veces mejor" en ningún objetivo sentido como una calificación de 2, pero simplemente indica que es mejor que 2 o 3 pero no tan bueno como 5).

Los modelos lineales generalizados permiten una función de enlace arbitraria , g , que relaciona la media de las variables de respuesta con los predictores :. La función de enlace a menudo está relacionada con la distribución de la respuesta y, en particular, normalmente tiene el efecto de transformar entre el rango del predictor lineal y el rango de la variable de respuesta. ${\displaystyle E(Y)=g^{-1}(XB)}$ ${\displaystyle (-\infty ,\infty )}$

Algunos ejemplos comunes de GLM son:

• Regresión de Poisson para datos de recuento.
• Regresión logística y regresión probit para datos binarios.
• Regresión logística multinomial y regresión probit multinomial para datos categóricos.
• Regresión logit ordenada y probit ordenada para datos ordinales.

Los modelos de índice único ^{[ se necesita aclaración ]} permiten cierto grado de no linealidad en la relación entre x e y , al tiempo que preservan el papel central del predictor lineal β ′ x como en el modelo de regresión lineal clásico. Bajo ciertas condiciones, simplemente aplicar MCO a datos de un modelo de índice único estimará consistentemente β hasta una constante de proporcionalidad. ^[12]

Modelos lineales jerárquicos

Los modelos lineales jerárquicos (o regresión multinivel ) organizan los datos en una jerarquía de regresiones, por ejemplo, donde A retrocede en B y B retrocede en C. A menudo se utiliza cuando las variables de interés tienen una estructura jerárquica natural, como en las estadísticas educativas, donde los estudiantes están anidados en las aulas, las aulas están anidadas en las escuelas y las escuelas están anidadas en algún grupo administrativo, como un distrito escolar. La variable de respuesta podría ser una medida del rendimiento estudiantil, como la puntuación de un examen, y se recopilarían diferentes covariables a nivel de aula, escuela y distrito escolar.

Errores en variables

Los modelos de errores en variables (o "modelos de errores de medición") amplían el modelo de regresión lineal tradicional para permitir que las variables predictoras X se observen con error. Este error hace que los estimadores estándar de β estén sesgados. Generalmente, la forma de sesgo es una atenuación, lo que significa que los efectos están sesgados hacia cero.

efectos de grupo

En un modelo de regresión lineal múltiple

${\displaystyle y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,}$

El parámetro de la variable predictora representa el efecto individual de . Tiene una interpretación como el cambio esperado en la variable de respuesta cuando aumenta en una unidad con otras variables predictoras mantenidas constantes. Cuando está fuertemente correlacionado con otras variables predictoras, es improbable que pueda aumentar en una unidad si otras variables se mantienen constantes. En este caso, la interpretación de se vuelve problemática ya que se basa en una condición improbable y el efecto de no puede evaluarse de forma aislada. ${\displaystyle \beta _{j}}$ ${\displaystyle x_{j}}$ ${\displaystyle x_{j}}$ ${\displaystyle y}$ ${\displaystyle x_{j}}$ ${\displaystyle x_{j}}$ ${\displaystyle x_{j}}$ ${\displaystyle \beta _{j}}$ ${\displaystyle x_{j}}$

Para un grupo de variables predictoras, digamos, un efecto de grupo se define como una combinación lineal de sus parámetros. ${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$ ${\displaystyle \xi (\mathbf {w} )}$

${\displaystyle \xi (\mathbf {w} )=w_{1}\beta _{1}+w_{2}\beta _{2}+\dots +w_{q}\beta _{q},}$

¿Dónde es un vector de peso que satisface ? Debido a la restricción de , también se le conoce como efecto de grupo normalizado. Un efecto de grupo se interpreta como el cambio esperado cuando las variables en el grupo cambian en la cantidad , respectivamente, al mismo tiempo que las variables que no están en el grupo se mantienen constantes. Generaliza el efecto individual de una variable a un grupo de variables en el sentido de que ( ) si , entonces el efecto de grupo se reduce a un efecto individual, y ( ) si y para , entonces el efecto de grupo también se reduce a un efecto individual. Se dice que un efecto de grupo es significativo si los cambios simultáneos subyacentes de las variables son probables. ${\displaystyle \mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }}$ ${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$ ${\displaystyle {w_{j}}}$ ${\displaystyle \xi (\mathbf {w} )}$ ${\displaystyle \xi (\mathbf {w} )}$ ${\displaystyle y}$ ${\displaystyle x_{1},x_{2},\dots ,x_{q}}$ ${\displaystyle w_{1},w_{2},\dots ,w_{q}}$ ${\displaystyle i}$ ${\displaystyle q=1}$ ${\displaystyle ii}$ ${\displaystyle w_{i}=1}$ ${\displaystyle w_{j}=0}$ ${\displaystyle j\neq i}$ ${\displaystyle \xi (\mathbf {w} )}$ ${\displaystyle q}$ ${\displaystyle (w_{1},w_{2},\dots ,w_{q})^{\intercal }}$

Los efectos de grupo proporcionan un medio para estudiar el impacto colectivo de variables predictivas fuertemente correlacionadas en modelos de regresión lineal. Los efectos individuales de dichas variables no están bien definidos ya que sus parámetros no tienen buenas interpretaciones. Además, cuando el tamaño de la muestra no es grande, ninguno de sus parámetros puede estimarse con precisión mediante la regresión de mínimos cuadrados debido al problema de multicolinealidad . Sin embargo, existen efectos de grupo significativos que tienen buenas interpretaciones y pueden estimarse con precisión mediante la regresión de mínimos cuadrados. Una forma sencilla de identificar estos efectos de grupo significativos es utilizar un arreglo de correlaciones todas positivas (APC) de las variables fuertemente correlacionadas bajo el cual las correlaciones por pares entre estas variables sean todas positivas, y estandarizar todas las variables predictoras en el modelo para que todas tengan medias. cero y longitud uno. Para ilustrar esto, supongamos que hay un grupo de variables fuertemente correlacionadas en un arreglo APC y que no están fuertemente correlacionadas con variables predictoras fuera del grupo. Sea el centrado y el estandarizado . Entonces, el modelo de regresión lineal estandarizado es ${\displaystyle p}$ ${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$ ${\displaystyle y'}$ ${\displaystyle y}$ ${\displaystyle x_{j}'}$ ${\displaystyle x_{j}}$

${\displaystyle y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .}$

Los parámetros del modelo original, incluido , son funciones simples del modelo estandarizado. La estandarización de variables no cambia sus correlaciones, por lo que es un grupo de variables fuertemente correlacionadas en un arreglo APC y no están fuertemente correlacionadas con otras variables predictoras en el modelo estandarizado. Un efecto de grupo de es ${\displaystyle \beta _{j}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{j}'}$ ${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$ ${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$

${\displaystyle \xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',}$

y su estimador lineal insesgado de varianza mínima es

${\displaystyle {\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',}$

donde está el estimador de mínimos cuadrados de . En particular, el efecto de grupo promedio de las variables estandarizadas es ${\displaystyle {\hat {\beta }}_{j}'}$ ${\displaystyle \beta _{j}'}$ ${\displaystyle q}$

${\displaystyle \xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),}$

que tiene una interpretación como el cambio esperado cuando todos en el grupo fuertemente correlacionado aumentan en th de una unidad al mismo tiempo con las variables fuera del grupo mantenidas constantes. Con correlaciones positivas fuertes y en unidades estandarizadas, las variables del grupo son aproximadamente iguales, por lo que es probable que aumenten al mismo tiempo y en cantidades similares. Por tanto, el efecto de grupo promedio es un efecto significativo. Puede estimarse con precisión mediante su estimador lineal insesgado de varianza mínima , incluso cuando individualmente ninguno de ellos puede estimarse con precisión mediante . ${\displaystyle y'}$ ${\displaystyle x_{j}'}$ ${\displaystyle (1/q)}$ ${\displaystyle \xi _{A}}$ ${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$ ${\displaystyle \beta _{j}'}$ ${\displaystyle {\hat {\beta }}_{j}'}$

No todos los efectos de grupo son significativos o pueden estimarse con precisión. Por ejemplo, es un efecto de grupo especial con ponderaciones y para , pero no puede estimarse con precisión mediante . Tampoco es un efecto significativo. En general, para un grupo de variables predictivas fuertemente correlacionadas en una disposición APC en el modelo estandarizado, los efectos de grupo cuyos vectores de peso están en o cerca del centro del simplex ( ) son significativos y pueden estimarse con precisión mediante su varianza mínima lineal insesgada. estimadores. Los efectos con vectores de peso alejados del centro no son significativos ya que dichos vectores de peso representan cambios simultáneos de las variables que violan las fuertes correlaciones positivas de las variables estandarizadas en una disposición APC. Como tales, no son probables. Estos efectos tampoco pueden estimarse con precisión. ${\displaystyle \beta _{1}'}$ ${\displaystyle w_{1}=1}$ ${\displaystyle w_{j}=0}$ ${\displaystyle j\neq 1}$ ${\displaystyle {\hat {\beta }}'_{1}}$ ${\displaystyle q}$ ${\displaystyle \mathbf {w} }$ ${\textstyle \sum _{j=1}^{q}w_{j}=1}$ ${\displaystyle w_{j}\geq 0}$

Las aplicaciones de los efectos de grupo incluyen (1) estimación e inferencia de efectos de grupo significativos en la variable de respuesta, (2) probar la "importancia del grupo" de las variables mediante pruebas versus y (3) caracterizar la región del espacio de la variable predictora sobre qué predicciones mediante el modelo estimado de mínimos cuadrados son precisas. ${\displaystyle q}$ ${\displaystyle H_{0}:\xi _{A}=0}$ ${\displaystyle H_{1}:\xi _{A}\neq 0}$

Un efecto de grupo de las variables originales se puede expresar como una constante multiplicada por un efecto de grupo de las variables estandarizadas . Lo primero es significativo cuando lo segundo lo es. Por lo tanto, se pueden encontrar efectos de grupo significativos de las variables originales a través de efectos de grupo significativos de las variables estandarizadas. ^[13] ${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$ ${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$

Otros

En la teoría de Dempster-Shafer , o en una función de creencia lineal en particular, un modelo de regresión lineal puede representarse como una matriz parcialmente barrida, que puede combinarse con matrices similares que representan observaciones y otras distribuciones normales y ecuaciones de estado supuestas. La combinación de matrices barridas o no barridas proporciona un método alternativo para estimar modelos de regresión lineal.

Métodos de estimación

Se han desarrollado una gran cantidad de procedimientos para la estimación e inferencia de parámetros en regresión lineal. Estos métodos difieren en la simplicidad computacional de los algoritmos, la presencia de una solución de forma cerrada, la robustez con respecto a las distribuciones de cola pesada y los supuestos teóricos necesarios para validar propiedades estadísticas deseables como la consistencia y la eficiencia asintótica .

A continuación se resumen algunas de las técnicas de estimación más comunes para la regresión lineal.

Estimación de mínimos cuadrados y técnicas relacionadas.

Ilustración de Francis Galton de 1886 ^{[14] sobre la correlación entre la altura de los adultos y la de sus padres.} La observación de que la altura de los hijos adultos tendía a desviarse menos de la altura media que la de sus padres sugirió el concepto de " regresión hacia la media ", de ahí el nombre de regresión. El "lugar de los puntos tangenciales horizontales" que pasa por los puntos más a la izquierda y más a la derecha de la elipse (que es una curva de nivel de la distribución normal bivariada estimada a partir de los datos) es la estimación MCO de la regresión de las alturas de los padres sobre las alturas de los niños, mientras que el "lugar de los puntos tangenciales verticales" es la estimación MCO de la regresión de las alturas de los niños sobre las alturas de los padres. El eje mayor de la elipse es la estimación de TLS .

Suponiendo que la variable independiente es y los parámetros del modelo son , entonces la predicción del modelo sería ${\displaystyle {\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$ ${\displaystyle {\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]}$

${\displaystyle y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}}$.

Si se extiende hasta entonces se convertiría en un producto escalar del parámetro y la variable independiente, es decir ${\displaystyle {\vec {x_{i}}}}$ ${\displaystyle {\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$ ${\displaystyle y_{i}}$

${\displaystyle y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}}$.

En la configuración de mínimos cuadrados, el parámetro óptimo se define como tal que minimiza la suma de la pérdida cuadrática media:

${\displaystyle {\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}}$

Ahora, poniendo las variables independientes y dependientes en matrices y respectivamente, la función de pérdida se puede reescribir como: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle {\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

Como la pérdida es convexa, la solución óptima se encuentra en el gradiente cero. El gradiente de la función de pérdida es (usando la convención de diseño del denominador ):

${\displaystyle {\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

Establecer el gradiente en cero produce el parámetro óptimo:

${\displaystyle {\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}}$

Nota: Para demostrar que lo obtenido es efectivamente el mínimo local, es necesario derivar una vez más para obtener la matriz de Hesse y demostrar que es definida positiva. Esto lo proporciona el teorema de Gauss-Markov . ${\displaystyle {\hat {\beta }}}$

Los métodos de mínimos cuadrados lineales incluyen principalmente:

• Mínimos cuadrados ordinarios
• Mínimos cuadrados ponderados
• Mínimos cuadrados generalizados
• Ajuste de plantilla lineal ^[15]

Estimación de máxima verosimilitud y técnicas relacionadas.

• La estimación de máxima verosimilitud se puede realizar cuando se sabe que la distribución de los términos de error pertenece a una determinada familia paramétrica ƒ _θ de distribuciones de probabilidad . ^[16] Cuando f _θ es una distribución normal con media cero y varianza θ, la estimación resultante es idéntica a la estimación MCO. Las estimaciones GLS son estimaciones de máxima verosimilitud cuando ε sigue una distribución normal multivariada con una matriz de covarianza conocida .
• La regresión de cresta ^{[17] [18] [19]} y otras formas de estimación penalizada, como la regresión de Lasso , ^[5] introducen deliberadamente un sesgo en la estimación de β para reducir la variabilidad de la estimación. Las estimaciones resultantes generalmente tienen un error cuadrático medio menor que las estimaciones de MCO, particularmente cuando hay multicolinealidad presente o cuando el sobreajuste es un problema. Generalmente se utilizan cuando el objetivo es predecir el valor de la variable de respuesta y para valores de los predictores x que aún no se han observado. Estos métodos no se utilizan con tanta frecuencia cuando el objetivo es la inferencia, ya que es difícil explicar el sesgo.
• La regresión de desviación mínima absoluta (LAD) es una técnica de estimación robusta porque es menos sensible a la presencia de valores atípicos que MCO (pero es menos eficiente que MCO cuando no hay valores atípicos presentes). Es equivalente a la estimación de máxima verosimilitud bajo un modelo de distribución de Laplace para ε . ^[20]
• Estimación adaptativa . Si suponemos que los términos de error son independientes de los regresores, entonces el estimador óptimo es el MLE de 2 pasos, donde el primer paso se utiliza para estimar de forma no paramétrica la distribución del término de error. ^[21] ${\displaystyle \varepsilon _{i}\perp \mathbf {x} _{i}}$

Otras técnicas de estimación

Comparación del estimador de Theil-Sen (negro) y la regresión lineal simple (azul) para un conjunto de puntos con valores atípicos

• La regresión lineal bayesiana aplica el marco de la estadística bayesiana a la regresión lineal. (Ver también Regresión lineal multivariada bayesiana ). En particular, se supone que los coeficientes de regresión β son variables aleatorias con una distribución previa especificada . La distribución previa puede sesgar las soluciones de los coeficientes de regresión, de una manera similar (pero más general) a la regresión de cresta o la regresión de lazo . Además, el proceso de estimación bayesiano no produce una estimación puntual única para los "mejores" valores de los coeficientes de regresión, sino una distribución posterior completa , que describe completamente la incertidumbre que rodea a la cantidad. Esto se puede utilizar para estimar los "mejores" coeficientes utilizando la media, la moda, la mediana, cualquier cuantil (ver regresión de cuantiles ) o cualquier otra función de la distribución posterior.
• La regresión cuantil se centra en los cuantiles condicionales dey dado X en lugar de la media condicional de y dado X. La regresión cuantil lineal modela un cuantil condicional particular, por ejemplo la mediana condicional, como una función lineal β ^T x de los predictores.
• Los modelos mixtos se utilizan ampliamente para analizar relaciones de regresión lineal que involucran datos dependientes cuando las dependencias tienen una estructura conocida. Las aplicaciones comunes de los modelos mixtos incluyen el análisis de datos que involucran mediciones repetidas, como datos longitudinales o datos obtenidos del muestreo por conglomerados. Generalmente se ajustan como modelos paramétricos , utilizando máxima verosimilitud o estimación bayesiana. En el caso en que los errores se modelan como variables aleatorias normales , existe una estrecha conexión entre los modelos mixtos y los mínimos cuadrados generalizados. ^[22] La estimación de efectos fijos es un enfoque alternativo para analizar este tipo de datos.
• La regresión de componentes principales (PCR) ^{[7] [8]} se utiliza cuando el número de variables predictoras es grande o cuando existen fuertes correlaciones entre las variables predictoras. Este procedimiento de dos etapas primero reduce las variables predictivas mediante el análisis de componentes principales y luego utiliza las variables reducidas en un ajuste de regresión MCO. Si bien a menudo funciona bien en la práctica, no existe una razón teórica general para que la función lineal más informativa de las variables predictoras deba encontrarse entre los componentes principales dominantes de la distribución multivariada de las variables predictoras. La regresión de mínimos cuadrados parciales es la extensión del método PCR que no adolece de la deficiencia mencionada.
• La regresión de ángulo mínimo ^[6] es un procedimiento de estimación para modelos de regresión lineal que se desarrolló para manejar vectores de covariables de alta dimensión, potencialmente con más covariables que observaciones.
• El estimador de Theil-Sen es una técnica de estimación robusta simple que elige la pendiente de la línea de ajuste como la mediana de las pendientes de las líneas a través de pares de puntos muestrales. Tiene propiedades de eficiencia estadística similares a las de la regresión lineal simple, pero es mucho menos sensible a los valores atípicos . ^[23]
• Se han introducido otras técnicas de estimación sólidas, incluido el enfoque de la media recortada por α y los estimadores L, M, S y R.

Aplicaciones

La regresión lineal se utiliza ampliamente en las ciencias biológicas, del comportamiento y sociales para describir posibles relaciones entre variables. Se ubica como una de las herramientas más importantes utilizadas en estas disciplinas.

Línea de tendencia

Una línea de tendencia representa una tendencia, el movimiento a largo plazo en los datos de series de tiempo después de que se han tenido en cuenta otros componentes. Indica si un conjunto de datos en particular (por ejemplo, el PIB, los precios del petróleo o los precios de las acciones) ha aumentado o disminuido durante un período de tiempo. Una línea de tendencia podría simplemente dibujarse a simple vista a través de un conjunto de puntos de datos, pero más correctamente su posición y pendiente se calculan mediante técnicas estadísticas como la regresión lineal. Las líneas de tendencia suelen ser líneas rectas, aunque algunas variaciones utilizan polinomios de mayor grado según el grado de curvatura deseado en la línea.

A veces, las líneas de tendencia se utilizan en análisis de negocios para mostrar cambios en los datos a lo largo del tiempo. Esto tiene la ventaja de ser sencillo. Las líneas de tendencia se utilizan a menudo para argumentar que una acción o evento particular (como una capacitación o una campaña publicitaria) causó cambios observados en un momento determinado. Se trata de una técnica sencilla y no requiere un grupo de control, un diseño experimental ni una técnica de análisis sofisticada. Sin embargo, adolece de una falta de validez científica en los casos en que otros cambios potenciales pueden afectar los datos.

Epidemiología

Las primeras pruebas que relacionaban el tabaquismo con la mortalidad y la morbilidad provinieron de estudios observacionales que emplearon análisis de regresión. Para reducir las correlaciones espurias al analizar datos observacionales, los investigadores suelen incluir varias variables en sus modelos de regresión además de la variable de interés principal. Por ejemplo, en un modelo de regresión en el que el tabaquismo es la variable independiente de interés principal y la variable dependiente es la esperanza de vida medida en años, los investigadores podrían incluir la educación y los ingresos como variables independientes adicionales, para garantizar que cualquier efecto observado del tabaquismo en la esperanza de vida sea no debido a esos otros factores socioeconómicos . Sin embargo, nunca es posible incluir todas las posibles variables de confusión en un análisis empírico. Por ejemplo, un gen hipotético podría aumentar la mortalidad y también hacer que las personas fumen más. Por esta razón, los ensayos controlados aleatorios a menudo pueden generar pruebas más convincentes de relaciones causales que las que se pueden obtener mediante análisis de regresión de datos observacionales. Cuando los experimentos controlados no son factibles, se pueden utilizar variantes del análisis de regresión, como la regresión de variables instrumentales, para intentar estimar relaciones causales a partir de datos de observación.

Finanzas

El modelo de valoración de activos de capital utiliza la regresión lineal, así como el concepto de beta , para analizar y cuantificar el riesgo sistemático de una inversión. Esto proviene directamente del coeficiente beta del modelo de regresión lineal que relaciona el rendimiento de la inversión con el rendimiento de todos los activos de riesgo.

Ciencias económicas

La regresión lineal es la herramienta empírica predominante en economía . Por ejemplo, se utiliza para predecir el gasto de consumo , ^{[24] el gasto} en inversión fija , la inversión en inventarios , las compras de las exportaciones de un país , ^[25] el gasto en importaciones , ^[25] la demanda de mantener activos líquidos , ^[26] la demanda laboral , ^[27] y oferta de mano de obra . ^[27]

Ciencia medioambiental

La regresión lineal encuentra aplicación en una amplia gama de aplicaciones de las ciencias ambientales, como el uso de la tierra, ^[28] enfermedades infecciosas y ^[29] la contaminación del aire. ^[30]

Aprendizaje automático

La regresión lineal juega un papel importante en el subcampo de la inteligencia artificial conocido como aprendizaje automático . El algoritmo de regresión lineal es uno de los algoritmos fundamentales de aprendizaje automático supervisado debido a su relativa simplicidad y propiedades bien conocidas. ^[31]

Historia

Legendre (1805) y Gauss (1809) realizaron la regresión lineal de mínimos cuadrados, como medio para encontrar un buen ajuste lineal aproximado a un conjunto de puntos, para la predicción del movimiento planetario. Quetelet fue el responsable de dar a conocer el procedimiento y de utilizarlo ampliamente en las ciencias sociales. ^[32]

Ver también

• Portal de matemáticas

• Análisis de variación
• Descomposición de Blinder-Oaxaca
• Modelo de regresión censurado
• Regresión transversal
• Ajuste de curvas
• Método empírico de Bayes
• Errores y residuos
• Suma de cuadrados por falta de ajuste
• Ajuste de línea
• clasificador lineal
• Ecuación lineal
• Regresión logística
• estimador m
• Spline de regresión adaptativa multivariante
• Regresión no lineal
• Regresión no paramétrica
• Ecuaciones normales
• Regresión de búsqueda de proyección
• Metodología de modelado de respuesta
• Regresión lineal segmentada
• Línea de desviación estándar
• Regresión paso a paso
• Ruptura estructural
• Máquinas de vectores soporte
• Modelo de regresión truncado
• regresión de deming

Referencias

Citas

1. David A. Freedman (2009). Modelos estadísticos: teoría y práctica . Prensa de la Universidad de Cambridge . pag. 26. Una ecuación de regresión simple tiene en el lado derecho una ordenada en el origen y una variable explicativa con un coeficiente de pendiente. Una regresión múltiple en el lado derecho, cada una con su propio coeficiente de pendiente
2. Rencher, Alvin C.; Christensen, William F. (2012), "Capítulo 10, Regresión multivariada - Sección 10.1, Introducción", Métodos de análisis multivariado, Serie Wiley en probabilidad y estadística, vol. 709 (3ª ed.), John Wiley & Sons, pág. 19, ISBN 9781118391679.
3. Hilary L. Sello (1967). "El desarrollo histórico del modelo lineal de Gauss". Biometrika . 54 (1/2): 1–24. doi :10.1093/biomet/54.1-2.1. JSTOR  2333849.
4. Yan, Xin (2009), Análisis de regresión lineal: teoría y computación, World Scientific, págs. 1–2, ISBN 9789812834119, El análisis de regresión... es probablemente uno de los temas más antiguos de la estadística matemática, que se remonta a hace unos doscientos años. La forma más antigua de regresión lineal fue el método de mínimos cuadrados, publicado por Legendre en 1805 y por Gauss en 1809... Tanto Legendre como Gauss aplicaron el método al problema de determinar, a partir de observaciones astronómicas, las órbitas de los cuerpos. sobre el sol.
5. Tibshirani, Robert (1996). "Regresión, contracción y selección mediante el lazo". Revista de la Royal Statistical Society, Serie B. 58 (1): 267–288. JSTOR  2346178.
6. Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "Regresión de ángulo mínimo". Los anales de la estadística . 32 (2): 407–451. arXiv : matemáticas/0406456 . doi :10.1214/009053604000000067. JSTOR  3448465. S2CID  204004121.
7. Hawkins, Douglas M. (1973). "Sobre la investigación de regresiones alternativas mediante análisis de componentes principales". Revista de la Royal Statistical Society, Serie C. 22 (3): 275–286. doi :10.2307/2346776. JSTOR  2346776.
8. Jolliffe, Ian T. (1982). "Una nota sobre el uso de componentes principales en la regresión". Revista de la Royal Statistical Society, Serie C. 31 (3): 300–303. doi :10.2307/2348005. JSTOR  2348005.
9. Williams, Matt; Grajales, Carlos; Kurkiewicz, Dason (25 de noviembre de 2019). "Supuestos de regresión múltiple: corregir dos conceptos erróneos". Valoración, investigación y evaluación prácticas . 18 (1). doi : 10.7275/55hn-wk47. ISSN  1531-7714.
10. Berk, Richard A. (2007). "Análisis de regresión: una crítica constructiva". Revisión de justicia penal . 32 (3): 301–302. doi :10.1177/0734016807304871. S2CID  145389362.
11. Hidalgo, Bertha; Goodman, Melodía (15 de noviembre de 2012). "¿Regresión multivariada o multivariable?". Revista Estadounidense de Salud Pública . 103 (1): 39–40. doi :10.2105/AJPH.2012.300897. ISSN  0090-0036. PMC 3518362 . PMID  23153131. 
12. Brillinger, David R. (1977). "La identificación de un sistema particular de series temporales no lineales". Biometrika . 64 (3): 509–515. doi :10.1093/biomet/64.3.509. JSTOR  2345326.
13. Tsao, Min (2022). "Regresión de mínimos cuadrados grupales para modelos lineales con variables predictoras fuertemente correlacionadas". Anales del Instituto de Matemática Estadística . 75 (2): 233–250. arXiv : 1804.02499 . doi :10.1007/s10463-022-00841-7. S2CID  237396158.
14. Galton, Francisco (1886). "Regresión hacia la mediocridad en la estatura hereditaria". La Revista del Instituto Antropológico de Gran Bretaña e Irlanda . 15 : 246–263. doi :10.2307/2841583. ISSN  0959-5295. JSTOR  2841583.
15. Britzger, Daniel (2022). "El ajuste de plantilla lineal". EUR. Física. J.C.​ 82 (8): 731. arXiv : 2112.01548 . Código Bib : 2022EPJC...82..731B. doi :10.1140/epjc/s10052-022-10581-w. S2CID  244896511.
16. Lange, Kenneth L.; Pequeño, Roderick JA; Taylor, Jeremy MG (1989). "Modelado estadístico robusto utilizando la distribución t" (PDF) . Revista de la Asociación Estadounidense de Estadística . 84 (408): 881–896. doi :10.2307/2290063. JSTOR  2290063.
17. Estafa, Benee F. (1981). "Geometría de la regresión de crestas ilustrada". El estadístico estadounidense . 35 (1): 12-15. doi :10.2307/2683577. JSTOR  2683577.
18. Draper, Norman R.; van Nostrand; R. Craig (1979). "Regresión de crestas y estimación de James-Stein: revisión y comentarios". Tecnometría . 21 (4): 451–466. doi :10.2307/1268284. JSTOR  1268284.
19. Hoerl, Arthur E.; Kennard, Robert W.; Hoerl, Roger W. (1985). "Uso práctico de la regresión de crestas: un desafío cumplido". Revista de la Royal Statistical Society, Serie C. 34 (2): 114-120. JSTOR  2347363.
20. Narula, Subhash C.; Wellington, John F. (1982). "La regresión de la suma mínima de errores absolutos: una encuesta sobre el estado del arte". Revista estadística internacional . 50 (3): 317–326. doi :10.2307/1402501. JSTOR  1402501.
21. Piedra, CJ (1975). "Estimadores adaptativos de máxima verosimilitud de un parámetro de ubicación". Los anales de la estadística . 3 (2): 267–284. doi : 10.1214/aos/1176343056 . JSTOR  2958945.
22. Goldstein, H. (1986). "Análisis de modelo lineal mixto multinivel utilizando mínimos cuadrados iterativos generalizados". Biometrika . 73 (1): 43–56. doi :10.1093/biomet/73.1.43. JSTOR  2336270.
23. Theil, H. (1950). "Un método de análisis de regresión lineal y polinomial de rango invariante. I, II, III". Nederl. Akád. Wetensch., Proc . 53 : 386–392, 521–525, 1397–1412. SEÑOR  0036489.; Sen, Pranab Kumar (1968). "Estimaciones del coeficiente de regresión basadas en la tau de Kendall". Revista de la Asociación Estadounidense de Estadística . 63 (324): 1379–1389. doi :10.2307/2285891. JSTOR  2285891. SEÑOR  0258201..
24. Deaton, Angus (1992). Entendiendo el consumo . Prensa de la Universidad de Oxford. ISBN 978-0-19-828824-4.
25. Krugman, Paul R .; Obstfeld, M .; Melitz, Marc J. (2012). Economía internacional: teoría y política (novena edición global). Harlow: Pearson. ISBN 9780273754091.
26. Laidler, David EW (1993). La demanda de dinero: teorías, evidencia y problemas (4ª ed.). Nueva York: Harper Collins. ISBN 978-0065010985.
27. Ehrenberg; Herrero (2008). Economía laboral moderna (décima edición internacional). Londres: Addison-Wesley. ISBN 9780321538963.
28. Hoek, Gerard; Beelen, Rob; de Hoogh, Kees; Vienneau, Danielle; Gulliver, Juan; Fischer, Pablo; Briggs, David (1 de octubre de 2008). "Una revisión de modelos de regresión del uso de la tierra para evaluar la variación espacial de la contaminación del aire exterior". Ambiente Atmosférico . 42 (33): 7561–7578. doi :10.1016/j.atmosenv.2008.05.057. ISSN  1352-2310.
29. Imai, Chisato; Hashizume, Masahiro (2015). "Una revisión sistemática de la metodología: análisis de regresión de series temporales para factores ambientales y enfermedades infecciosas". Medicina Tropical y Salud . 43 (1): 1–9. doi :10.2149/tmh.2014-21. hdl : 10069/35301 .
30. Milionis, AE; Davies, TD (1 de septiembre de 1994). "Modelos de regresión y estocásticos para la contaminación del aire. I. Revisión, comentarios y sugerencias". Ambiente Atmosférico . 28 (17): 2801–2810. doi :10.1016/1352-2310(94)90083-3. ISSN  1352-2310.
31. "Regresión lineal (aprendizaje automático)" (PDF) . Universidad de Pittsburgh .
32. Stigler, Stephen M. (1986). La historia de la estadística: la medición de la incertidumbre antes de 1900 . Cambridge: Harvard. ISBN 0-674-40340-1.

Fuentes

• Cohen, J., Cohen P., West, SG y Aiken, LS (2003). Análisis de correlación/regresión múltiple aplicado a las ciencias del comportamiento. (2ª ed.) Hillsdale, Nueva Jersey: Lawrence Erlbaum Associates
• Carlos Darwin . La variación de animales y plantas bajo domesticación . (1868) (El Capítulo XIII describe lo que se sabía sobre la reversión en la época de Galton. Darwin usa el término "reversión".)
• Draper, NR; Smith, H. (1998). Análisis de regresión aplicada (3ª ed.). Juan Wiley. ISBN 978-0-471-17082-2.
• Francisco Galtón. "Regresión hacia la mediocridad en la estatura hereditaria", Revista del Instituto Antropológico , 15:246-263 (1886). (Faxímil en: [1])
• Robert S. Pindyck y Daniel L. Rubinfeld (1998, 4h ed.). Modelos econométricos y previsiones económicas , cap. 1 (Introducción, incluidos apéndices sobre operadores Σ y derivación del parámetro est.) y Apéndice 4.3 (regresión múltiple en forma matricial).

Otras lecturas

• Pedhazur, Elazar J (1982). Regresión múltiple en la investigación del comportamiento: explicación y predicción (2ª ed.). Nueva York: Holt, Rinehart y Winston. ISBN 978-0-03-041760-3.
• Mathieu Rouaud, 2013: Probabilidad, Estadística y Estimación Capítulo 2: Regresión lineal, Regresión lineal con barras de error y Regresión no lineal.
• Laboratorio Nacional de Física (1961). "Capítulo 1: Ecuaciones lineales y matrices: métodos directos". Métodos informáticos modernos . Apuntes sobre ciencias aplicadas. vol. 16 (2ª ed.). Oficina de papelería de Su Majestad .

enlaces externos

• Regresión de mínimos cuadrados, simulaciones interactivas PhET , Universidad de Colorado en Boulder
• Ajuste lineal de bricolaje