Mínimos cuadrados ponderados

Método de ajuste de modelos en estadística.

Los mínimos cuadrados ponderados ( WLS ), también conocidos como regresión lineal ponderada , ^{[1] [2]} son ​​una generalización de los mínimos cuadrados ordinarios y la regresión lineal en la que se incorpora a la regresión el conocimiento de la varianza desigual de las observaciones ( heterocedasticidad ). WLS es también una especialización de mínimos cuadrados generalizados , cuando todas las entradas fuera de la diagonal de la matriz de covarianza de los errores son nulas.

Formulación

El ajuste de un modelo a un punto de datos se mide por su residual , definido como la diferencia entre un valor medido de la variable dependiente y el valor predicho por el modelo ,: ${\displaystyle r_{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$

$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

Si los errores no están correlacionados y tienen igual varianza, entonces la función

$${\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},}$$

${\displaystyle {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}$

El teorema de Gauss-Markov muestra que, cuando esto es así, es el mejor estimador lineal insesgado ( AZUL ). Sin embargo, si las mediciones no están correlacionadas pero tienen incertidumbres diferentes, se podría adoptar un enfoque modificado. Aitken demostró que cuando se minimiza una suma ponderada de residuos al cuadrado, es el AZUL si cada peso es igual al recíproco de la varianza de la medición. ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

$${\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}$$

Las ecuaciones de gradiente para esta suma de cuadrados son

$${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$$

que, en un sistema lineal de mínimos cuadrados dan las ecuaciones normales modificadas,

$${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$$

Cuando los errores de observación no están correlacionados y la matriz de pesos , W = Ω ⁻¹ , es diagonal, estos pueden escribirse como

$${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$$

Si los errores están correlacionados, el estimador resultante es el AZUL si la matriz de ponderaciones es igual a la inversa de la matriz de varianza-covarianza de las observaciones.

Cuando los errores no están correlacionados, es conveniente simplificar los cálculos para factorizar la matriz de pesos como . Las ecuaciones normales se pueden escribir entonces de la misma forma que los mínimos cuadrados ordinarios: ${\displaystyle w_{ii}={\sqrt {W_{ii}}}}$

$${\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}$$

donde definimos la siguiente matriz y vector escalados:

$${\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$$

Este es un tipo de transformación blanqueadora ; la última expresión implica una división por entradas .

Para sistemas de mínimos cuadrados no lineales, un argumento similar muestra que las ecuaciones normales deben modificarse de la siguiente manera.

$${\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}$$

Tenga en cuenta que para las pruebas empíricas, la W adecuada no se conoce con seguridad y debe estimarse. Para esto se pueden utilizar técnicas factibles de mínimos cuadrados generalizados (FGLS); en este caso está especializado para una matriz de covarianza diagonal, lo que produce una solución factible de mínimos cuadrados ponderados.

Si la incertidumbre de las observaciones no se conoce a partir de fuentes externas, entonces las ponderaciones podrían estimarse a partir de las observaciones dadas. Esto puede resultar útil, por ejemplo, para identificar valores atípicos. Una vez que se hayan eliminado los valores atípicos del conjunto de datos, las ponderaciones deben restablecerse a uno. ^[3]

Motivación

En algunos casos, las observaciones pueden estar ponderadas; por ejemplo, es posible que no sean igualmente confiables. En este caso, se puede minimizar la suma ponderada de cuadrados:

$${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$$

w _iiWmatriz diagonal

Idealmente, los pesos deberían ser iguales al recíproco de la varianza de la medición. (Esto implica que las observaciones no están correlacionadas. Si las observaciones están correlacionadas , se aplica la expresión. En este caso, lo ideal es que la matriz de ponderación sea igual a la inversa de la matriz de varianza-covarianza de las observaciones). ^[3] Las ecuaciones normales son entonces: ${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$

$${\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}$$

Este método se utiliza en mínimos cuadrados reponderados iterativamente .

Solución

Errores de parámetros y correlación.

Los valores estimados de los parámetros son combinaciones lineales de los valores observados.

$${\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}$$

Por lo tanto, se puede obtener una expresión para la matriz de varianza-covarianza estimada de las estimaciones de los parámetros mediante la propagación del error a partir de los errores en las observaciones. Sea M la matriz de varianza-covarianza de las observaciones y M ^β la de los parámetros estimados . Entonces

$${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$$

Cuando W = M ⁻¹ , esto se simplifica a

$${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}$$

Cuando se utilizan pesos unitarios ( W = I , la matriz identidad ), se da a entender que los errores experimentales no están correlacionados y son todos iguales: M = σ ² I , donde σ ² es la varianza a priori de una observación. En cualquier caso, σ ² se aproxima mediante el chi-cuadrado reducido : ${\displaystyle \chi _{\nu }^{2}}$

$${\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}$$

donde S es el valor mínimo de la función objetivo ponderada:

$${\displaystyle S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.}$$

El denominador, , es el número de grados de libertad ; ver grados efectivos de libertad para generalizaciones para el caso de observaciones correlacionadas. ${\displaystyle \nu =n-m}$

En todos los casos, la varianza de la estimación de los parámetros está dada por y la covarianza entre las estimaciones de los parámetros está dada por . La desviación estándar es la raíz cuadrada de la varianza, y el coeficiente de correlación viene dado por . Estas estimaciones de error reflejan sólo errores aleatorios en las mediciones. La verdadera incertidumbre en los parámetros es mayor debido a la presencia de errores sistemáticos que, por definición, no pueden cuantificarse. Tenga en cuenta que, aunque las observaciones pueden no estar correlacionadas, los parámetros suelen estar correlacionados . ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle M_{ii}^{\beta }}$ ${\displaystyle {\hat {\beta }}_{i}}$ ${\displaystyle {\hat {\beta }}_{j}}$ ${\displaystyle M_{ij}^{\beta }}$ ${\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}}$ ${\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}$

Límites de confianza de los parámetros

A menudo se supone , a falta de evidencia concreta pero a menudo apelando al teorema del límite central (ver Distribución normal#Ocurrencia y aplicaciones ) que el error en cada observación pertenece a una distribución normal con una media de cero y una desviación estándar . Bajo ese supuesto, se pueden derivar las siguientes probabilidades para una estimación de un solo parámetro escalar en términos de su error estándar estimado (indicado aquí ): ${\displaystyle \sigma }$ ${\displaystyle se_{\beta }}$

• 68% que el intervalo abarca el verdadero valor del coeficiente ${\displaystyle {\hat {\beta }}\pm se_{\beta }}$
• 95% que el intervalo abarca el valor verdadero del coeficiente ${\displaystyle {\hat {\beta }}\pm 2se_{\beta }}$
• 99% de que el intervalo abarca el valor verdadero del coeficiente ${\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }}$

La suposición no es descabellada cuando n  >>  m . Si los errores experimentales se distribuyen normalmente, los parámetros pertenecerán a una distribución t de Student con n  −  m grados de libertad . Cuando n  ≫  m la distribución t de Student se aproxima a una distribución normal. Sin embargo, tenga en cuenta que estos límites de confianza no pueden tener en cuenta el error sistemático. Además, los errores de los parámetros deben citarse con una cifra significativa únicamente, ya que están sujetos a errores de muestreo . ^[4]

Cuando el número de observaciones es relativamente pequeño, la desigualdad de Chebychev se puede utilizar como límite superior de las probabilidades, independientemente de cualquier suposición sobre la distribución de los errores experimentales: las probabilidades máximas de que un parámetro sea superior a 1, 2 o 3 desviaciones estándar. lejos de su valor esperado son 100%, 25% y 11% respectivamente.

Valores residuales y correlación.

Los residuos están relacionados con las observaciones de

$${\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}$$

donde H es la matriz idempotente conocida como matriz hat :

$${\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}$$

y I es la matriz identidad . La matriz de varianza-covarianza de los residuos, M ^r , está dada por

$${\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}$$

Por tanto, los residuos están correlacionados, incluso si las observaciones no lo están.

Cuando , ${\displaystyle W=M^{-1}}$

$${\displaystyle M^{\mathbf {r} }=(I-H)M.}$$

La suma de los valores residuales ponderados es igual a cero siempre que la función del modelo contenga un término constante. Multiplique a la izquierda la expresión de los residuos por X ^T W ^T :

$${\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$$

Digamos, por ejemplo, que el primer término del modelo es una constante, de modo que para todo i . En ese caso se deduce que ${\displaystyle X_{i1}=1}$

$${\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}$$

Así, en el ejemplo motivacional anterior, el hecho de que la suma de los valores residuales sea igual a cero no es accidental, sino que es una consecuencia de la presencia del término constante, α, en el modelo.

Si el error experimental sigue una distribución normal , entonces, debido a la relación lineal entre los residuos y las observaciones, también deberían hacerlo los residuos, ^[5] pero dado que las observaciones son sólo una muestra de la población de todas las observaciones posibles, los residuos deberían pertenecer a una distribución de Student. distribución t . Los residuos estudentizados son útiles para realizar una prueba estadística de un valor atípico cuando un residuo particular parece ser excesivamente grande.

Ver también

• Mínimos cuadrados reponderados iterativamente
• Errores estándar consistentes con heteroscedasticidad
• media ponderada

Referencias

1. "Regresión ponderada".
2. "Visualizar una regresión ponderada".
3. Strutz, T. (2016). "3". Ajuste e incertidumbre de datos (una introducción práctica a los mínimos cuadrados ponderados y más) . Springer Vieweg. ISBN 978-3-658-11455-8.
4. Mandel, Juan (1964). El análisis estadístico de datos experimentales . Nueva York: Interciencia.
5. Mardia, KV; Kent, JT; Bibby, JM (1979). Analisis multivariable . Nueva York: Academic Press. ISBN 0-12-471250-9.