Regresión lineal simple

En estadística , la regresión lineal simple ( SLR ) es un modelo de regresión lineal con una única variable explicativa . ^[1]^[2]^[3]^[4] [ ^5] Es decir, se trata de puntos de muestra bidimensionales con una variable independiente y una variable dependiente ( convencionalmente, las coordenadas xey en un sistema de coordenadas cartesiano ) y encuentra una Función lineal (una línea recta no vertical ) que, con la mayor precisión posible, predice los valores de la variable dependiente en función de la variable independiente. El adjetivo simple se refiere al hecho de que la variable de resultado está relacionada con un único predictor.

Es común hacer la estipulación adicional de que se debe utilizar el método de mínimos cuadrados ordinarios (MCO): la precisión de cada valor predicho se mide por su residual al cuadrado (distancia vertical entre el punto del conjunto de datos y la línea ajustada), y el objetivo es hacer que la suma de estas desviaciones al cuadrado sea lo más pequeña posible. En este caso, la pendiente de la línea ajustada es igual a la correlación entre $y$ y $x$ corregida por la relación de desviaciones estándar de estas variables. La intersección de la línea ajustada es tal que la línea pasa por el centro de masa $(x, y)$ de los puntos de datos.

Formulación y cálculo.

Considere la función del modelo .

y=\alpha +\beta x,

que describe una línea con pendiente $β$ e intersección $con el eje$ $α$ . En general, tal relación puede no ser válida exactamente para la población de valores de las variables independientes y dependientes, en gran parte no observada; A las desviaciones no observadas de la ecuación anterior las llamamos errores . Supongamos que observamos $n$ pares de datos y los llamamos ${(x i, y i), i = 1, ..., n$ }. Podemos describir la relación subyacente entre $y i$ y $x i$ que involucra este término de error $ε i$ mediante

y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.

Esta relación entre los parámetros subyacentes verdaderos (pero no observados) $α$ y $β$ y los puntos de datos se denomina modelo de regresión lineal.

El objetivo es encontrar valores estimados para los parámetros $α$ y $β$ que proporcionarían el "mejor" ajuste en algún sentido para los puntos de datos. Como se mencionó en la introducción, en este artículo el "mejor" ajuste se entenderá como el método de mínimos cuadrados : una línea que minimiza la suma de los residuos al cuadrado (ver también Errores y residuos ) (diferencias entre los valores reales y predichos de la variable dependiente y ), cada una de las cuales está dada por, para cualquier valor de parámetro candidato y , ${\widehat {\alpha }}$ ${\widehat {\beta }}$ ${\widehat {\varepsilon }}_{i}$ $\alpha$ ${\displaystyle\beta}$

{\widehat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}.

En otras palabras, resuelva el siguiente problema de minimización : ${\widehat {\alpha }}$ ${\widehat {\beta }}$

({\hat {\alpha }},\,{\hat {\beta }})=\operatorname {argmin} \left(Q(\alpha ,\beta )\right),

donde la función objetivo $Q$ es:

Q(\alpha ,\beta )=\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ .

Al expandir para obtener una expresión cuadrática en y podemos derivar valores minimizadores de los argumentos de la función, denotados y : ^[6] $\alpha$ $\beta ,$ ${\widehat {\alpha }}$ ${\widehat {\beta }}$

{\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-({\widehat {\beta }}\,{\bar {x}}),\\[5pt]{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\Delta x_{i}\Delta y_{i}}{\sum _{i=1}^{n}\Delta x_{i}^{2}}}\end{aligned}}

Aquí hemos introducido

${\bar {x}}$ y como el promedio de $x$ $i$ y $y$ $i$ , respectivamente ${\bar {y}}$
$\Delta x_{i}$ y como las desviaciones en $x$ $i$ y $y$ $i$ con respecto a sus respectivas medias. $\Delta y_{i}$

Fórmulas ampliadas

Las ecuaciones anteriores son eficientes si se conoce la media de las variables xey ( ). Si no se conocen las medias en el momento del cálculo, puede ser más eficiente utilizar la versión ampliada de las ecuaciones. Estas ecuaciones ampliadas pueden derivarse de las ecuaciones de regresión polinómica más generales ^[7]^[8] definiendo el polinomio de regresión como de orden 1, como sigue. ${\bar {x}}{\text{ and }}{\bar {y}}$ ${\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}$

${\begin{bmatrix}n&\sum _{i=1}^{n}x_{i}\\\sum _{i=1}^{n}x_{i}&\sum _{i=1}^{n}x_{i}^{2}\end{bmatrix}}{\begin{bmatrix}{\widehat {\alpha }}\\{\widehat {\beta }}\end{bmatrix}}={\begin{bmatrix}\sum _{i=0}^{n}y_{i}\\\sum _{i=0}^{n}y_{i}x_{i}\end{bmatrix}}$

El sistema de ecuaciones lineales anterior se puede resolver directamente o se pueden derivar ecuaciones independientes expandiendo las ecuaciones matriciales anteriores. Las ecuaciones resultantes son algebraicamente equivalentes a las que se muestran en el párrafo anterior y se muestran a continuación sin demostración. ^[9]^[7] ${\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}$

${\begin{aligned}&\qquad {\widehat {\alpha }}={\frac {\sum _{i=1}^{n}y_{i}\sum _{i=1}^{n}x_{i}^{2}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}x_{i}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\[5pt]\\&\qquad {\widehat {\beta }}={\frac {n\sum _{i=1}^{n}x_{i}y_{i}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}y_{i}}{n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}}}\\&\qquad \end{aligned}}$

Interpretación

Relación con la matriz de covarianza muestral

La solución se puede reformular utilizando elementos de la matriz de covarianza :

{\widehat {\beta }}={\frac {s_{x,y}}{s_{x}^{2}}}=r_{xy}{\frac {s_{y}}{s_{x}}}

dónde

$r xy$ es el coeficiente de correlación muestral entre $x$ e $y$
$s x$ y $s y$ son las desviaciones estándar muestrales no corregidas de $x$ e $y$
$s_{x}^{2}$ y son la varianza muestral y la covarianza muestral , respectivamente $s_{x,y}$

Sustituyendo las expresiones anteriores por y en la solución original se obtiene ${\widehat {\alpha }}$ ${\widehat {\beta }}$

{\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}.

Esto muestra que $r xy$ es la pendiente de la línea de regresión de los puntos de datos estandarizados (y que esta línea pasa por el origen). Desde entonces obtenemos que si x es alguna medida e y es una medida de seguimiento del mismo elemento, entonces esperamos que y (en promedio) esté más cerca de la medida media que del valor original de x. Este fenómeno se conoce como regresiones hacia la media . $-1\leq r_{xy}\leq 1$

Generalizando la notación, podemos escribir una barra horizontal sobre una expresión para indicar el valor promedio de esa expresión sobre el conjunto de muestras. Por ejemplo: ${\bar {x}}$

{\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.

Esta notación nos permite una fórmula concisa para $r xy$ :

r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}.

El coeficiente de determinación ("R cuadrado") es igual a cuando el modelo es lineal con una única variable independiente. Consulte el coeficiente de correlación de muestra para obtener detalles adicionales. $r_{xy}^{2}$

Interpretación sobre la pendiente.

Multiplicando todos los miembros de la suma en el numerador por : (sin cambiarlo): ${\begin{aligned}{\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}=1\end{aligned}}$

{\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}=\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}{\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\\[6pt]\end{aligned}}

Podemos ver que la pendiente (tangente del ángulo) de la recta de regresión es el promedio ponderado de esa es la pendiente (tangente del ángulo) de la recta que conecta el i-ésimo punto con el promedio de todos los puntos, ponderada por porque el Cuanto más lejos esté el punto, más "importante" será, ya que pequeños errores en su posición afectarán más a la pendiente que lo conecta con el punto central. ${\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}$ $(x_{i}-{\bar {x}})^{2}$

Interpretación sobre la intercepción.

{\begin{aligned}{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}},\\[5pt]\end{aligned}}

Dado el ángulo que forma la línea con el eje x positivo, tenemos ${\widehat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\widehat {\beta }}$ $\theta$ $y_{\rm {intersection}}={\bar {y}}-dx\times {\widehat {\beta }}={\bar {y}}-dy$

Interpretación sobre la correlación.

En la formulación anterior, observe que cada uno es un valor constante ("conocido de antemano"), mientras que son variables aleatorias que dependen de la función lineal de y del término aleatorio . Esta suposición se utiliza al derivar el error estándar de la pendiente y demostrar que es insesgado . $x_{i}$ $y_{i}$ $x_{i}$ $\varepsilon _{i}$

En este marco, cuando en realidad no es una variable aleatoria , ¿qué tipo de parámetro estima la correlación empírica ? El problema es que para cada valor i tendremos: y . Una posible interpretación de es imaginar que define una variable aleatoria extraída de la distribución empírica de los valores de x en nuestra muestra. Por ejemplo, si x tuviera 10 valores de los números naturales : [1,2,3...,10], entonces podemos imaginar que x es una distribución uniforme discreta . Según esta interpretación, todos tienen la misma expectativa y alguna variación positiva. Con esta interpretación podemos pensar en el estimador de la correlación de Pearson entre la variable aleatoria y y la variable aleatoria x (como la acabamos de definir). $x_{i}$ $r_{xy}$ $E(x_{i})=x_{i}$ $Var(x_{i})=0$ $r_{xy}$ $x_{i}$ $x_{i}$ $r_{xy}$

Propiedades numéricas

La línea de regresión pasa por el punto del centro de masa , , si el modelo incluye un término de intersección (es decir, no forzado a través del origen). $({\bar {x}},\,{\bar {y}})$
La suma de los residuos es cero si el modelo incluye un término de intercepto:
$\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}=0.$
Los residuos y los valores $de x$ no están correlacionados (exista o no un término de intersección en el modelo), lo que significa:
$\sum _{i=1}^{n}x_{i}{\widehat {\varepsilon }}_{i}\;=\;0$
La relación entre (el coeficiente de correlación para la población ) y las varianzas de la población de ( ) y el término de error de ( ) es: ^[10]^{: 401} $\rho _{xy}$ $y$ $\sigma _{y}^{2}$ $\epsilon$ $\sigma _{\epsilon }^{2}$
$\sigma _{\epsilon }^{2}=(1-\rho _{xy}^{2})\sigma _{y}^{2}$
Para valores extremos esto es evidente. Desde cuando entonces . Y cuando entonces . $\rho _{xy}$ $\rho _{xy}=0$ $\sigma _{\epsilon }^{2}=\sigma _{y}^{2}$ $\rho _{xy}=1$ $\sigma _{\epsilon }^{2}=0$

Propiedades estadísticas

La descripción de las propiedades estadísticas de los estimadores a partir de estimaciones de regresión lineal simple requiere el uso de un modelo estadístico . Lo siguiente se basa en asumir la validez de un modelo bajo el cual las estimaciones son óptimas. También es posible evaluar las propiedades bajo otros supuestos, como la falta de homogeneidad , pero esto se analiza en otra parte. ^{[ se necesita aclaración ]}

Imparcialidad

Los estimadores y son insesgados . ${\widehat {\alpha }}$ ${\widehat {\beta }}$

Para formalizar esta afirmación debemos definir un marco en el que estos estimadores sean variables aleatorias. Consideramos los residuos $ε i$ como variables aleatorias extraídas independientemente de alguna distribución con media cero. En otras palabras, para cada valor de $x$ , el valor correspondiente de $y$ se genera como una respuesta media $α + βx$ más una variable aleatoria adicional $ε$ llamada término de error , igual a cero en promedio. Bajo tal interpretación, los estimadores de mínimos cuadrados y serán ellos mismos variables aleatorias cuyas medias serán iguales a los "valores verdaderos" $α$ y $β$ . Ésta es la definición de estimador insesgado. ${\widehat {\alpha }}$ ${\widehat {\beta }}$

Intervalos de confianza

Las fórmulas dadas en la sección anterior permiten calcular las estimaciones puntuales de $α$ y $β$ , es decir, los coeficientes de la línea de regresión para el conjunto de datos dado. Sin embargo, esas fórmulas no nos dicen qué tan precisas son las estimaciones, es decir, cuánto varían los estimadores de una muestra a otra para el tamaño de muestra especificado. Se idearon intervalos de confianza para dar un conjunto plausible de valores a las estimaciones que uno podría tener si repitiera el experimento un gran número de veces. ${\widehat {\alpha }}$ ${\widehat {\beta }}$

El método estándar para construir intervalos de confianza para coeficientes de regresión lineal se basa en el supuesto de normalidad, que se justifica si:

los errores en la regresión se distribuyen normalmente (el llamado supuesto de regresión clásica ), o
el número de observaciones $n$ es suficientemente grande, en cuyo caso el estimador tiene una distribución aproximadamente normal.

Este último caso está justificado por el teorema del límite central .

Supuesto de normalidad

Bajo el primer supuesto anterior, el de la normalidad de los términos de error, el estimador del coeficiente de pendiente estará normalmente distribuido con media $β$ y varianza donde $σ$ $2$ es la varianza de los términos de error (ver Pruebas que involucran mínimos cuadrados ordinarios ). Al mismo tiempo, la suma de los residuos al cuadrado $Q$ se distribuye proporcionalmente a $χ$ $2$ con $n$ $- 2$ grados de libertad e independientemente de . Esto nos permite construir un valor $t$ $\sigma ^{2}\left/\sum (x_{i}-{\bar {x}})^{2}\right.,$ ${\widehat {\beta }}$

t={\frac {{\widehat {\beta }}-\beta }{s_{\widehat {\beta }}}}\ \sim \ t_{n-2},

dónde

s_{\widehat {\beta }}={\sqrt {\frac {{\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}

es el estimador del error estándar insesgado del estimador . ${\widehat {\beta }}$

Este valor $t$ tiene una distribución t de Student con $n - 2$ grados de libertad. Usándolo podemos construir un intervalo de confianza para $β$ :

\beta \in \left[{\widehat {\beta }}-s_{\widehat {\beta }}t_{n-2}^{*},\ {\widehat {\beta }}+s_{\widehat {\beta }}t_{n-2}^{*}\right],

en el nivel de confianza $(1 - γ)$ , donde es el cuantil de la distribución $t$ $n$ $-2$ . Por ejemplo, si $γ$ $= 0,05$ entonces el nivel de confianza es del 95%. $t_{n-2}^{*}$ $\scriptstyle \left(1\;-\;{\frac {\gamma }{2}}\right){\text{-th}}$

De manera similar, el intervalo de confianza para el coeficiente de intersección $α$ viene dado por

\alpha \in \left[{\widehat {\alpha }}-s_{\widehat {\alpha }}t_{n-2}^{*},\ {\widehat {\alpha }}+s_{\widehat {\alpha }}t_{n-2}^{*}\right],

en el nivel de confianza (1 − γ ), donde

s_{\widehat {\alpha }}=s_{\widehat {\beta }}{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\frac {1}{n(n-2)}}\left(\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}

Los intervalos de confianza para $α$ y $β$ nos dan una idea general de dónde es más probable que se encuentren estos coeficientes de regresión. Por ejemplo, en la regresión de la ley de Okun que se muestra aquí, las estimaciones puntuales son

{\widehat {\alpha }}=0.859,\qquad {\widehat {\beta }}=-1.817.

Los intervalos de confianza del 95% para estas estimaciones son

\alpha \in \left[\,0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\,\right].

Para representar gráficamente esta información, en forma de bandas de confianza alrededor de la línea de regresión, hay que proceder con cuidado y tener en cuenta la distribución conjunta de los estimadores. Se puede demostrar ^[11] que en el nivel de confianza (1 − γ ) la banda de confianza tiene forma hiperbólica dada por la ecuación

(\alpha +\beta \xi )\in \left[\,{\widehat {\alpha }}+{\widehat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\widehat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\,\right].

Cuando el modelo asume que la intersección es fija e igual a 0 ( ), el error estándar de la pendiente se convierte en: $\alpha =0$

s_{\widehat {\beta }}={\sqrt {{\frac {1}{n-1}}{\frac {\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}x_{i}^{2}}}}}

Con: ${\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}$

Supuesto asintótico

El segundo supuesto alternativo establece que cuando el número de puntos en el conjunto de datos es "suficientemente grande", la ley de los números grandes y el teorema del límite central se vuelven aplicables, y entonces la distribución de los estimadores es aproximadamente normal. Bajo este supuesto, todas las fórmulas derivadas en la sección anterior siguen siendo válidas, con la única excepción de que el cuantil t* _{n −2} de la distribución t de Student se reemplaza por el cuantil q* de la distribución normal estándar . En ocasiones la fracción $.mw-parser-output .sfrac{white-space:nowrap}.mw-parser-output .sfrac.tion,.mw-parser-output .sfrac .tion{display:inline-block;vertical-align:-0.5em;font-size:85%;text-align:center}.mw-parser-output .sfrac .num,.mw-parser-output .sfrac .den{display:block;line-height:1em;margin:0 0.1em}.mw-parser-output .sfrac .den{border-top:1px solid}.mw-parser-output .sr-only{border:0;clip:rect(0,0,0,0);height:1px;margin:-1px;overflow:hidden;padding:0;position:absolute;width:1px}1/norte −2$ se reemplaza con $1 / norte$ . Cuando $n$ es grande, tal cambio no altera apreciablemente los resultados.

Ejemplo numérico

Este conjunto de datos proporciona masas promedio para mujeres en función de su altura en una muestra de mujeres estadounidenses de 30 a 39 años. Aunque el artículo de MCO sostiene que sería más apropiado ejecutar una regresión cuadrática para estos datos, aquí se aplica el modelo de regresión lineal simple.

Hay n = 15 puntos en este conjunto de datos. Los cálculos manuales comenzarían encontrando las siguientes cinco sumas:

{\begin{aligned}S_{x}&=\sum x_{i}\,=24.76,\qquad S_{y}=\sum y_{i}\,=931.17,\\[5pt]S_{xx}&=\sum x_{i}^{2}=41.0532,\;\;\,S_{yy}=\sum y_{i}^{2}=58498.5439,\\[5pt]S_{xy}&=\sum x_{i}y_{i}=1548.2453\end{aligned}}

Estas cantidades se utilizarían para calcular las estimaciones de los coeficientes de regresión y sus errores estándar.

{\begin{aligned}{\widehat {\beta }}&={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}=61.272\\[8pt]{\widehat {\alpha }}&={\frac {1}{n}}S_{y}-{\widehat {\beta }}{\frac {1}{n}}S_{x}=-39.062\\[8pt]s_{\varepsilon }^{2}&={\frac {1}{n(n-2)}}\left[nS_{yy}-S_{y}^{2}-{\widehat {\beta }}^{2}(nS_{xx}-S_{x}^{2})\right]=0.5762\\[8pt]s_{\widehat {\beta }}^{2}&={\frac {ns_{\varepsilon }^{2}}{nS_{xx}-S_{x}^{2}}}=3.1539\\[8pt]s_{\widehat {\alpha }}^{2}&=s_{\widehat {\beta }}^{2}{\frac {1}{n}}S_{xx}=8.63185\end{aligned}}

El cuantil 0,975 de la distribución t de Student con 13 grados de libertad es $t * 13 = 2,1604$ y, por tanto, los intervalos de confianza del 95% para $α$ y $β$ son

{\begin{aligned}&\alpha \in [\,{\widehat {\alpha }}\mp t_{13}^{*}s_{\alpha }\,]=[\,{-45.4},\ {-32.7}\,]\\[5pt]&\beta \in [\,{\widehat {\beta }}\mp t_{13}^{*}s_{\beta }\,]=[\,57.4,\ 65.1\,]\end{aligned}}

También se podría calcular el coeficiente de correlación momento-producto :

{\widehat {r}}={\frac {nS_{xy}-S_{x}S_{y}}{\sqrt {(nS_{xx}-S_{x}^{2})(nS_{yy}-S_{y}^{2})}}}=0.9946

Alternativas

En SLR, existe el supuesto subyacente de que sólo la variable dependiente contiene error de medición; Si la variable explicativa también se mide con error, entonces la regresión simple no es apropiada para estimar la relación subyacente porque estará sesgada debido a la dilución de la regresión .

Otros métodos de estimación que se pueden utilizar en lugar de los mínimos cuadrados ordinarios incluyen las desviaciones mínimas absolutas (que minimizan la suma de los valores absolutos de los residuos) y el estimador de Theil-Sen (que elige una recta cuya pendiente es la mediana de las pendientes determinadas por pares de puntos de muestra).

La regresión de Deming (mínimos cuadrados totales) también encuentra una línea que se ajusta a un conjunto de puntos muestrales bidimensionales, pero (a diferencia de los mínimos cuadrados ordinarios, las desviaciones mínimas absolutas y la regresión de pendiente mediana) en realidad no es un ejemplo de regresión lineal simple, porque no separa las coordenadas en una variable dependiente y otra independiente y potencialmente podría devolver una línea vertical como ajuste. puede conducir a un modelo que intenta ajustarse a los valores atípicos más que a los datos.

Ajuste de línea

El ajuste de línea es el proceso de construir una línea recta que se ajuste mejor a una serie de puntos de datos.

Existen varios métodos, considerando:

Distancia vertical: regresión lineal simple
- Resistencia a valores atípicos : regresión lineal simple y robusta
Distancia perpendicular : regresión ortogonal
- Distancia geométrica ponderada: regresión de Deming
Invariancia de escala : regresión del eje mayor

Regresión lineal simple sin término de intersección (regresor único)

$A veces es apropiado forzar que la recta$ de regresión pase por el origen, porque se supone que $xey$ son proporcionales. Para el modelo sin el término de intersección, $y$ $=$ $βx$ , el estimador MCO para $β$ se simplifica a

{\widehat {\beta }}={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}

Sustituyendo $(x - h, y - k)$ en lugar de $(x, y)$ se obtiene la regresión mediante $(h, k)$ :

{\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-h)(y_{i}-k)}{\sum _{i=1}^{n}(x_{i}-h)^{2}}}={\frac {\overline {(x-h)(y-k)}}{\overline {(x-h)^{2}}}}\\[6pt]&={\frac {{\overline {xy}}-k{\bar {x}}-h{\bar {y}}+hk}{{\overline {x^{2}}}-2h{\bar {x}}+h^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}+({\bar {x}}-h)({\bar {y}}-k)}{{\overline {x^{2}}}-{\bar {x}}^{2}+({\bar {x}}-h)^{2}}}\\[6pt]&={\frac {\operatorname {Cov} (x,y)+({\bar {x}}-h)({\bar {y}}-k)}{\operatorname {Var} (x)+({\bar {x}}-h)^{2}}},\end{aligned}}

donde Cov y Var se refieren a la covarianza y la varianza de los datos de la muestra (sin corregir el sesgo). El último formulario anterior demuestra cómo alejar la línea del centro de masa de los puntos de datos afecta la pendiente.

Ver también

Matriz de diseño # Regresión lineal simple
Estimación de tendencia lineal
Regresión lineal segmentada
Pruebas que involucran mínimos cuadrados ordinarios : derivación de todas las fórmulas utilizadas en este artículo en un caso multidimensional general.

Referencias

^ Seltman, Howard J. (8 de septiembre de 2008). Diseño y análisis experimental (PDF) . pag. 227.
^ "Muestreo estadístico y regresión: regresión lineal simple". Universidad de Colombia . Consultado el 17 de octubre de 2016 . Cuando se utiliza una variable independiente en una regresión, se llama regresión simple;(...)
^ Lane, David M. Introducción a la estadística (PDF) . pag. 462.
^ Zou KH; Tuncali K; Silverman SG (2003). "Correlación y regresión lineal simple". Radiología . 227 (3): 617–22. doi :10.1148/radiol.2273011499. ISSN 0033-8419. OCLC 110941167. PMID 12773666.
^ Altman, Naomi; Krzywinski, Martín (2015). "Regresión lineal simple". Métodos de la naturaleza . 12 (11): 999–1000. doi : 10.1038/nmeth.3627 . ISSN 1548-7091. OCLC 5912005539. PMID 26824102. S2CID 261269711.
^ Kenney, JF y Keeping, ES (1962) "Regresión lineal y correlación". Cap. 15 en Matemáticas de Estadística , pt. 1, 3ª ed. Princeton, Nueva Jersey: Van Nostrand, págs. 252–285
^ ab Muthukrishnan, Gowri (17 de junio de 2018). "Matemáticas detrás de la regresión polinómica, Muthukrishnan". Matemáticas detrás de la regresión polinómica . Consultado el 30 de enero de 2024 .
^ "Matemáticas de la regresión polinómica". Regresión polinómica, una clase de regresión PHP .
^ "Aritmética, matemáticas y estadística: kit de habilidades académicas, Universidad de Newcastle". Regresión lineal simple . Consultado el 30 de enero de 2024 .
^ Valliant, Richard, Jill A. Dever y Frauke Kreuter. Herramientas prácticas para diseñar y ponderar muestras de encuestas. Nueva York: Springer, 2013.
^ Casella, G. y Berger, RL (2002), "Inferencia estadística" (segunda edición), Cengage, ISBN 978-0-534-24312-8 , págs.

enlaces externos

Explicación de Wolfram MathWorld sobre el ajuste de mínimos cuadrados y cómo calcularlo
Matemáticas de regresión simple (Robert Nau, Universidad de Duke)