Suma de cuadrados explicada

Cantidad estadística

En estadística , la suma explicada de cuadrados ( ESS ), también conocida como suma de cuadrados del modelo o suma de cuadrados debido a la regresión ( SSR , que no debe confundirse con la suma residual de cuadrados (RSS) o suma de cuadrados de errores), es una cantidad utilizada para describir qué tan bien un modelo, a menudo un modelo de regresión , representa los datos que se están modelando. En particular, la suma explicada de cuadrados mide cuánta variación hay en los valores modelados y esto se compara con la suma total de cuadrados (TSS), que mide cuánta variación hay en los datos observados, y con la suma residual de cuadrados , que mide la variación en el error entre los datos observados y los valores modelados.

Definición

La suma explicada de cuadrados (ESS) es la suma de los cuadrados de las desviaciones de los valores predichos con respecto al valor medio de una variable de respuesta, en un modelo de regresión estándar —por ejemplo, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , donde y _i es la i ^ésima observación de la variable de respuesta , x _ji es la i ^ésima observación de la j ^ésima variable explicativa , a y b _j son coeficientes , i indexa las observaciones de 1 a n , y ε _i es el i  ^ésimo valor del término de error . En general, cuanto mayor sea la ESS, mejor será el rendimiento del modelo estimado.

Si y son los coeficientes estimados , entonces ${\displaystyle {\hat {a}}}$ ${\displaystyle {\hat {b}}_{i}}$

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

es el i  ^-ésimo valor predicho de la variable de respuesta. La ESS es entonces:

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

donde es el valor estimado por la línea de regresión. ^[1] ${\displaystyle {\hat {y}}_{i}}$

En algunos casos (ver abajo): suma total de cuadrados  (TSS) = suma explicada de cuadrados (ESS) + suma residual de cuadrados  (RSS).

Particionado en regresión lineal simple

La siguiente igualdad, que establece que la suma total de cuadrados (TSS) es igual a la suma residual de cuadrados (=SSE: la suma de los errores al cuadrado de la predicción) más la suma explicada de cuadrados (SSR: la suma de los cuadrados debido a la regresión o suma explicada de cuadrados), es generalmente verdadera en la regresión lineal simple:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

Derivación simple

${\displaystyle {\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}}$

Eleva al cuadrado ambos lados y suma todos los i :

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Aquí se muestra cómo el último término anterior es cero a partir de una regresión lineal simple ^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Entonces,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Por lo tanto,

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

Particionado en el modelo general de mínimos cuadrados ordinarios

El modelo de regresión general con n observaciones y k explicadores, el primero de los cuales es un vector unitario constante cuyo coeficiente es la intersección de la regresión, es

${\displaystyle y=X\beta +e}$

donde y es un vector n × 1 de observaciones de la variable dependiente, cada columna de la matriz n × k X es un vector de observaciones de uno de los k explicadores, es un vector k × 1 de coeficientes verdaderos y e es un vector n × 1 de los errores subyacentes verdaderos. El estimador de mínimos cuadrados ordinarios para es ${\displaystyle \beta }$ ${\displaystyle \beta }$

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

El vector residual es , por lo que la suma residual de cuadrados es, después de la simplificación, ${\displaystyle {\hat {e}}}$ ${\displaystyle y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

Denotemos como el vector constante todos cuyos elementos son la media muestral de los valores de la variable dependiente en el vector y . Entonces la suma total de cuadrados es ${\displaystyle {\bar {y}}}$ ${\displaystyle y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

La suma de cuadrados explicada, definida como la suma de las desviaciones al cuadrado de los valores predichos con respecto a la media observada de y , es

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Usando en esto, y simplificando para obtener , da el resultado que TSS = ESS + RSS si y solo si . El lado izquierdo de esto es por la suma de los elementos de y , y el lado derecho es por la suma de los elementos de , por lo que la condición es que la suma de los elementos de y sea igual a la suma de los elementos de , o equivalentemente que la suma de los errores de predicción (residuos) sea cero. Esto se puede ver como cierto al notar la conocida propiedad MCO de que el vector k × 1 : dado que la primera columna de X es un vector de unos, el primer elemento de este vector es la suma de los residuos y es igual a cero. Esto prueba que la condición se cumple para el resultado de que TSS = ESS + RSS . ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$ ${\displaystyle y_{m}}$ ${\displaystyle y_{m}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle y_{i}-{\hat {y}}_{i}}$ ${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$ ${\displaystyle X^{T}{\hat {e}}}$

En términos de álgebra lineal, tenemos , , . La prueba se puede simplificar notando que . La prueba es la siguiente: ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$ ${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$ ${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

De este modo,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

lo que nuevamente da como resultado que TSS = ESS + RSS , ya que . ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

Véase también

• Suma de cuadrados (estadística)
• Suma de cuadrados por falta de ajuste
• Fracción de varianza no explicada

Notas

1. "Suma de cuadrados: definición, fórmulas, análisis de regresión". Instituto de Finanzas Corporativas . Consultado el 11 de junio de 2020 .
2. Mendenhall, William (2009). Introducción a la probabilidad y la estadística (13.ª ed.). Belmont, CA: Brooks/Cole. pág. 507. ISBN 9780495389538.

Referencias

• SE Maxwell y HD Delaney (1990), "Diseño de experimentos y análisis de datos: una perspectiva de comparación de modelos". Wadsworth. págs. 289–290.
• GA Milliken y DE Johnson (1984), "Análisis de datos desordenados", Vol. I: Experimentos diseñados. Van Nostrand Reinhold. págs. 146–151.
• BG Tabachnick y LS Fidell (2007), "Diseño experimental utilizando ANOVA". Duxbury. pág. 220.
• BG Tabachnick y LS Fidell (2007), "Uso de estadísticas multivariadas", 5.ª ed. Pearson Education, págs. 217-218.