Métodos numéricos para mínimos cuadrados lineales.

Los métodos numéricos para mínimos cuadrados lineales implican el análisis numérico de problemas de mínimos cuadrados lineales .

Introducción

Un enfoque general del problema de mínimos cuadrados se puede describir de la siguiente manera. Supongamos que podemos encontrar una matriz S de n por m tal que XS sea una proyección ortogonal sobre la imagen de X. Entonces una solución a nuestro problema de minimización viene dada por ${\displaystyle \operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}}$

${\displaystyle {\boldsymbol {\beta }}=S\mathbf {y} }$

simplemente porque

${\displaystyle X{\boldsymbol {\beta }}=X(S\mathbf {y} )=(XS)\mathbf {y} }$

es exactamente una proyección ortogonal buscada sobre una imagen de X (vea la imagen a continuación y tenga en cuenta que, como se explica en la siguiente sección, la imagen de X es solo un subespacio generado por vectores columna de X ). A continuación se describen algunas formas populares de encontrar dicha matriz S. ${\displaystyle \mathbf {y} }$

Invirtiendo la matriz de las ecuaciones normales.

La ecuación se conoce como ecuación normal. La solución algebraica de las ecuaciones normales con una matriz de rango completo X ^T X se puede escribir como ${\displaystyle (\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y} =\mathbf {X} ^{+}\mathbf {y} }$

donde X ⁺ es la pseudoinversa de Moore- Penrose de X. Aunque esta ecuación es correcta y puede funcionar en muchas aplicaciones, no es computacionalmente eficiente invertir la matriz de ecuaciones normales (la matriz de Gramian ). Se produce una excepción en el suavizado y diferenciación numéricos donde se requiere una expresión analítica.

Si la matriz X ^T X está bien condicionada y definida positiva , lo que implica que tiene rango completo , las ecuaciones normales se pueden resolver directamente usando la descomposición de Cholesky R ^T R , donde R es una matriz triangular superior , dando:

${\displaystyle R^{\rm {T}}R{\hat {\boldsymbol {\beta }}}=X^{\rm {T}}\mathbf {y} .}$

La solución se obtiene en dos etapas, un paso de sustitución directa , resolviendo para z :

${\displaystyle R^{\rm {T}}\mathbf {z} =X^{\rm {T}}\mathbf {y} ,}$

seguido de una sustitución hacia atrás, resolviendo para : ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle R{\hat {\boldsymbol {\beta }}}=\mathbf {z} .}$

Ambas sustituciones se ven facilitadas por la naturaleza triangular de R.

Métodos de descomposición ortogonal

Los métodos de descomposición ortogonal para resolver el problema de mínimos cuadrados son más lentos que el método de ecuaciones normales pero son más estables numéricamente porque evitan formar el producto X ^T X.

Los residuos se escriben en notación matricial como

${\displaystyle \mathbf {r} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}.}$

La matriz X se somete a una descomposición ortogonal, por ejemplo, la descomposición QR como sigue.

${\displaystyle X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\ }$,

donde Q es una matriz ortogonal de m × m ( Q ^T Q=I ) y R es una matriz triangular superior de n × n con . ${\displaystyle r_{ii}>0}$

El vector residual se multiplica por la izquierda por Q ^T .

${\displaystyle Q^{\rm {T}}\mathbf {r} =Q^{\rm {T}}\mathbf {y} -\left(Q^{\rm {T}}Q\right){\begin{pmatrix}R\\0\end{pmatrix}}{\hat {\boldsymbol {\beta }}}={\begin{bmatrix}\left(Q^{\rm {T}}\mathbf {y} \right)_{n}-R{\hat {\boldsymbol {\beta }}}\\\left(Q^{\rm {T}}\mathbf {y} \right)_{m-n}\end{bmatrix}}={\begin{bmatrix}\mathbf {u} \\\mathbf {v} \end{bmatrix}}}$

Como Q es ortogonal , la suma de los cuadrados de los residuos, s , se puede escribir como:

${\displaystyle s=\|\mathbf {r} \|^{2}=\mathbf {r} ^{\rm {T}}\mathbf {r} =\mathbf {r} ^{\rm {T}}QQ^{\rm {T}}\mathbf {r} =\mathbf {u} ^{\rm {T}}\mathbf {u} +\mathbf {v} ^{\rm {T}}\mathbf {v} }$

Como v no depende de β , el valor mínimo de s se alcanza cuando el bloque superior, u , es cero. Por tanto, los parámetros se encuentran resolviendo:

${\displaystyle R{\hat {\boldsymbol {\beta }}}=\left(Q^{\rm {T}}\mathbf {y} \right)_{n}.}$

Estas ecuaciones se resuelven fácilmente ya que R es triangular superior.

Una descomposición alternativa de X es la descomposición en valores singulares (SVD) ^[1]

${\displaystyle X=U\Sigma V^{\rm {T}}\ }$,

donde U es una matriz ortogonal de m por m , V es una matriz ortogonal de n por n y es una matriz de m por n con todos sus elementos fuera de la diagonal principal iguales a 0 . La pseudoinversa de se obtiene fácilmente invirtiendo sus elementos diagonales distintos de cero y transponiendo. Por eso, ${\displaystyle \Sigma }$ ${\displaystyle \Sigma }$

${\displaystyle \mathbf {X} \mathbf {X} ^{+}=U\Sigma V^{\rm {T}}V\Sigma ^{+}U^{\rm {T}}=UPU^{\rm {T}},}$

donde P se obtiene reemplazando sus elementos diagonales distintos de cero por unos. Dado que (la propiedad de la pseudoinversa), la matriz es una proyección ortogonal sobre la imagen (espacio-columna) de X. De acuerdo con un enfoque general descrito en la introducción anterior (encontrar XS que es una proyección ortogonal), ${\displaystyle \Sigma }$ ${\displaystyle (\mathbf {X} \mathbf {X} ^{+})^{*}=\mathbf {X} \mathbf {X} ^{+}}$ ${\displaystyle UPU^{\rm {T}}}$

${\displaystyle S=\mathbf {X} ^{+}}$,

y por lo tanto,

${\displaystyle \beta =V\Sigma ^{+}U^{\rm {T}}\mathbf {y} }$

es una solución de un problema de mínimos cuadrados. Este método es el más intensivo desde el punto de vista computacional, pero es particularmente útil si la matriz de ecuaciones normales, X ^T X , está muy mal condicionada (es decir, si su número de condición multiplicado por el error de redondeo relativo de la máquina es apreciablemente grande). En ese caso, incluir los valores singulares más pequeños en la inversión simplemente agrega ruido numérico a la solución. Esto se puede solucionar con el enfoque SVD truncado, que proporciona una respuesta más estable y exacta, estableciendo explícitamente en cero todos los valores singulares por debajo de un cierto umbral y, por lo tanto, ignorándolos, un proceso estrechamente relacionado con el análisis factorial .

Discusión

Los métodos numéricos para mínimos cuadrados lineales son importantes porque los modelos de regresión lineal se encuentran entre los tipos de modelos más importantes, tanto como modelos estadísticos formales como para la exploración de conjuntos de datos. La mayoría de los paquetes informáticos estadísticos contienen funciones para análisis de regresión que utilizan cálculos de mínimos cuadrados lineales. Por lo tanto, es apropiado que se haya dedicado un esfuerzo considerable a la tarea de garantizar que estos cálculos se realicen de manera eficiente y teniendo debidamente en cuenta el error de redondeo .

Los análisis estadísticos individuales rara vez se realizan de forma aislada, sino que más bien forman parte de una secuencia de pasos de investigación. Algunos de los temas involucrados en la consideración de métodos numéricos para mínimos cuadrados lineales se relacionan con este punto. Así, temas importantes pueden ser

• Cálculos en los que se consideran varios modelos similares, y a menudo anidados , para el mismo conjunto de datos. Es decir, cuando se deben considerar modelos con la misma variable dependiente pero diferentes conjuntos de variables independientes , esencialmente para el mismo conjunto de puntos de datos.
• Cálculos para análisis que ocurren en una secuencia, a medida que aumenta el número de puntos de datos.
• Consideraciones especiales para conjuntos de datos muy extensos.

El ajuste de modelos lineales mediante mínimos cuadrados surge a menudo, pero no siempre, en el contexto del análisis estadístico . Por lo tanto, puede ser importante que las consideraciones de eficiencia de cálculo para tales problemas se extiendan a todas las cantidades auxiliares requeridas para tales análisis y no se limiten a la solución formal del problema de mínimos cuadrados lineales.

Los cálculos matriciales, como cualquier otro, se ven afectados por errores de redondeo . Wilkinson proporcionó un resumen inicial de estos efectos, con respecto a la elección de métodos de cálculo para la inversión de matrices. ^[2]

Ver también

• Álgebra lineal numérica
• Métodos numéricos para mínimos cuadrados no lineales.

Referencias

1. Lawson, CL; Hanson, RJ (1974). Resolución de problemas de mínimos cuadrados . Englewood Cliffs, Nueva Jersey: Prentice-Hall. ISBN 0-13-822585-0.
2. Wilkinson, JH (1963) "Capítulo 3: Cálculos matriciales", Errores de redondeo en procesos algebraicos , Londres: Oficina de papelería de Su Majestad (Laboratorio Nacional de Física, Notas en ciencias aplicadas, n.º 32)

Otras lecturas

• Ake Bjorck, Métodos numéricos para problemas de mínimos cuadrados , SIAM, 1996.
• RW Farebrother, Cálculos de mínimos cuadrados lineales , CRC Press, 1988.
• Barlow, Jesse L. (1993), "Capítulo 9: Aspectos numéricos de la resolución de problemas de mínimos cuadrados lineales", en Rao, CR (ed.), Estadística computacional , Manual de estadística, vol. 9, Holanda Septentrional, ISBN 0-444-88096-8
• Björck, Åke (1996). Métodos numéricos para problemas de mínimos cuadrados . Filadelfia: SIAM. ISBN 0-89871-360-9.
• Goodall, Colin R. (1993), "Capítulo 13: Cálculo mediante descomposición QR", en Rao, CR (ed.), Computational Statistics , Handbook of Statistics, vol. 9, Holanda Septentrional, ISBN 0-444-88096-8
• Laboratorio Nacional de Física (1961), "Capítulo 1: Ecuaciones lineales y matrices: métodos directos", Métodos de computación modernos , Notas sobre ciencias aplicadas, vol. 16 (2ª ed.), Oficina de papelería de Su Majestad
• Laboratorio Nacional de Física (1961), "Capítulo 2: Ecuaciones lineales y matrices: métodos directos en computadoras automáticas", Métodos de computación modernos , Notas sobre ciencias aplicadas, vol. 16 (2ª ed.), Oficina de papelería de Su Majestad