Suma de cuadrados explicada

Cantidad estadística

En estadística , la suma de cuadrados explicada ( ESS ), también conocida como suma de cuadrados modelo o suma de cuadrados debida a regresión ( SSR – no confundir con la suma de cuadrados residual (RSS) o suma de cuadrados de errores) , es una cantidad utilizada para describir qué tan bien un modelo, a menudo un modelo de regresión , representa los datos que se están modelando. En particular, la suma de cuadrados explicada mide cuánta variación hay en los valores modelados y esto se compara con la suma total de cuadrados (TSS), que mide cuánta variación hay en los datos observados, y con la suma residual de cuadrados , que mide la variación en el error entre los datos observados y los valores modelados.

Definición

La suma de cuadrados explicada (ESS) es la suma de los cuadrados de las desviaciones de los valores predichos del valor medio de una variable de respuesta, en un modelo de regresión estándar ; por ejemplo, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , donde y _i es la i ^ésima observación de la variable respuesta , x _ji es la i ^ésima observación de la j ^ésima variable explicativa , a y b _j son coeficientes , i indexa la observaciones del 1 al n , y ε _i es el ^iésimo valor  del término de error . En general, cuanto mayor es la ESS, mejor se comporta el modelo estimado.

Si y son los coeficientes estimados , entonces ${\displaystyle {\hat {a}}}$ ${\displaystyle {\hat {b}}_{i}}$

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

es el i  ^-ésimo valor predicho de la variable de respuesta. La ESS es entonces:

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

donde es el valor estimado por la recta de regresión. ^[1] ${\displaystyle {\hat {y}}_{i}}$

En algunos casos (ver más abajo): suma de cuadrados total  (TSS) = suma de cuadrados explicada (ESS) + suma de cuadrados residual  (RSS).

Partición en regresión lineal simple

La siguiente igualdad, que establece que la suma total de cuadrados (TSS) es igual a la suma residual de cuadrados (=SSE: la suma de los errores de predicción al cuadrado) más la suma de cuadrados explicada (SSR: la suma de cuadrados debida a la regresión o explicada suma de cuadrados), generalmente es cierto en regresión lineal simple:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

derivación simple

${\displaystyle {\begin{aligned}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y}}_{i}-{\bar {y}}).\end{aligned}}}$

Eleva ambos lados y suma todo i :

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Así es como el último término anterior es cero a partir de una regresión lineal simple ^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Entonces,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Por lo tanto,

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

Partición en el modelo general de mínimos cuadrados ordinarios

El modelo de regresión general con n observaciones y k explicadores, el primero de los cuales es un vector unitario constante cuyo coeficiente es el intercepto de la regresión, es

${\displaystyle y=X\beta +e}$

donde y es un vector n × 1 de observaciones de variables dependientes, cada columna de la matriz X n × k es un vector de observaciones en uno de los k explicadores, es un vector k × 1 de coeficientes verdaderos y e es un vector n × 1 vector de los verdaderos errores subyacentes. El estimador de mínimos cuadrados ordinarios para es ${\displaystyle \beta }$ ${\displaystyle \beta }$

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

El vector residual es , por lo que la suma residual de cuadrados es, después de la simplificación, ${\displaystyle {\hat {e}}}$ ${\displaystyle y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

Denota como vector constante todos cuyos elementos son la media muestral de los valores de la variable dependiente en el vector y . Entonces la suma total de cuadrados es ${\displaystyle {\bar {y}}}$ ${\displaystyle y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

La suma de cuadrados explicada, definida como la suma de las desviaciones al cuadrado de los valores predichos de la media observada de y , es

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Usando esto y simplificando para obtener , se obtiene el resultado de que TSS = ESS + RSS si y solo si . El lado izquierdo de esto es multiplicado por la suma de los elementos de y , y el lado derecho es multiplicado por la suma de los elementos de , por lo que la condición es que la suma de los elementos de y sea igual a la suma de los elementos de , o equivalentemente que la suma de los errores de predicción (residuales) sea cero. Se puede ver que esto es cierto al observar la conocida propiedad MCO de que el vector k × 1 : dado que la primera columna de X es un vector de unos, el primer elemento de este vector es la suma de los residuos y es igual a cero. Esto prueba que la condición se cumple para el resultado de que TSS = ESS + RSS . ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$ ${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$ ${\displaystyle y_{m}}$ ${\displaystyle y_{m}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle {\hat {y}}}$ ${\displaystyle y_{i}-{\hat {y}}_{i}}$ ${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$ ${\displaystyle X^{T}{\hat {e}}}$

En términos de álgebra lineal, tenemos , , . La prueba se puede simplificar observando que . La prueba es como sigue: ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$ ${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$ ${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$ ${\displaystyle {\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

De este modo,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

lo que nuevamente da el resultado de que TSS = ESS + RSS , desde . ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

Ver también

• Suma de cuadrados (estadísticas)
• Suma de cuadrados por falta de ajuste
• Fracción de varianza inexplicable

Notas

1. "Suma de cuadrados: definición, fórmulas, análisis de regresión". Instituto de Finanzas Corporativas . Consultado el 11 de junio de 2020 .
2. Mendenhall, William (2009). Introducción a la probabilidad y la estadística (13ª ed.). Belmont, California: Brooks/Cole. pag. 507.ISBN _ 9780495389538.

Referencias

• SE Maxwell y HD Delaney (1990), "Diseño de experimentos y análisis de datos: una perspectiva de comparación de modelos". Wadsworth. págs. 289–290.
• GA Milliken y DE Johnson (1984), "Análisis de datos desordenados", vol. I: Experimentos diseñados. Van Nostrand Reinhold. págs. 146-151.
• BG Tabachnick y LS Fidell (2007), "Diseño experimental utilizando ANOVA". Duxbury. pag. 220.
• BG Tabachnick y LS Fidell (2007), "Uso de estadística multivariada", 5ª ed. Educación Pearson. págs. 217-218.