Suma residual de cuadrados

Medida estadística de la discrepancia entre datos y un modelo de estimación.

En estadística , la suma de cuadrados residuales ( RSS ), también conocida como suma de residuos al cuadrado ( SSR ) o suma de estimaciones de errores al cuadrado ( SSE ), es la suma de los cuadrados de los residuos (desviaciones predichas a partir de los valores empíricos reales). de datos). Es una medida de la discrepancia entre los datos y un modelo de estimación, como una regresión lineal . Un RSS pequeño indica un ajuste perfecto del modelo a los datos. Se utiliza como criterio de optimización en la selección de parámetros y selección de modelos .

En general, suma de cuadrados total = suma de cuadrados explicada + suma de cuadrados residual. Para ver una prueba de esto en el caso multivariado de mínimos cuadrados ordinarios (MCO), consulte partición en el modelo general MCO .

Una variable explicativa

En un modelo con una única variable explicativa, RSS viene dado por: ^[1]

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$

donde y _i es el i- ^ésimo valor de la variable a predecir, x _i es el i ^-ésimo valor de la variable explicativa y es el valor predicho de y _i (también denominado ). En un modelo de regresión lineal simple estándar , donde y son coeficientes , y y x son el regresor y el regresor , respectivamente, y ε es el término de error . La suma de los cuadrados de los residuos es la suma de los cuadrados de ; eso es ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {y_{i}}}}$ ${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}}$

donde es el valor estimado del término constante y es el valor estimado del coeficiente de pendiente . ${\displaystyle {\widehat {\alpha \,}}}$ ${\displaystyle \alpha }$ ${\displaystyle {\widehat {\beta \,}}}$ ${\displaystyle \beta }$

Expresión matricial para la suma residual de cuadrados de MCO

El modelo de regresión general con n observaciones y k explicadores, el primero de los cuales es un vector unitario constante cuyo coeficiente es la intersección de la regresión, es

${\displaystyle y=X\beta +e}$

donde y es un vector n × 1 de observaciones de variables dependientes, cada columna de la matriz X n × k es un vector de observaciones en uno de los k explicadores, es un vector k × 1 de coeficientes verdaderos y e es un vector n × 1 vector de los verdaderos errores subyacentes. El estimador de mínimos cuadrados ordinarios para es ${\displaystyle \beta }$ ${\displaystyle \beta }$

${\displaystyle X{\hat {\beta }}=y\iff }$

${\displaystyle X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff }$

${\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.}$

El vector residual ; entonces la suma residual de cuadrados es: ${\displaystyle {\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

${\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}}$,

(equivalente al cuadrado de la norma de los residuos). En su totalidad:

${\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y}$,

donde H es la matriz hat o la matriz de proyección en regresión lineal.

Relación con la correlación producto-momento de Pearson

La línea de regresión de mínimos cuadrados está dada por

${\displaystyle y=ax+b}$,

dónde y , dónde y ${\displaystyle b={\bar {y}}-a{\bar {x}}}$ ${\displaystyle a={\frac {S_{xy}}{S_{xx}}}}$ ${\displaystyle S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})}$ ${\displaystyle S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.}$

Por lo tanto,

${\displaystyle {\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}}$

dónde ${\displaystyle S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.}$

La correlación producto-momento de Pearson viene dada por , por tanto, ${\displaystyle r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};}$ ${\displaystyle \operatorname {RSS} =S_{yy}(1-r^{2}).}$

Ver también

• Criterio de información de Akaike # Comparación con mínimos cuadrados
• Distribución de chi-cuadrado#Aplicaciones
• Grados de libertad (estadísticas)#Suma de cuadrados y grados de libertad
• Errores y residuos en estadística.
• Suma de cuadrados por falta de ajuste
• Error medio cuadrado
• Estadística de chi-cuadrado reducida , RSS por grado de libertad
• Desviaciones al cuadrado
• Suma de cuadrados (estadísticas)

Referencias

1. Archidiácono, Thomas J. (1994). Análisis de correlación y regresión: una guía para el historiador . Prensa de la Universidad de Wisconsin. págs. 161-162. ISBN 0-299-13650-7. OCLC  27266095.

• Draper, NR; Smith, H. (1998). Análisis de regresión aplicada (3ª ed.). Juan Wiley. ISBN 0-471-17082-8.