Mínimos cuadrados restringidos

En los mínimos cuadrados restringidos se resuelve un problema de mínimos cuadrados lineales con una restricción adicional en la solución. ^{[1] [2]} Esto significa que la ecuación sin restricciones debe ajustarse lo más posible (en el sentido de mínimos cuadrados) mientras se asegura que se mantenga alguna otra propiedad . ${\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} }$ ${\displaystyle {\boldsymbol {\beta }}}$

A menudo existen algoritmos especiales para resolver este tipo de problemas de manera eficiente. A continuación se ofrecen algunos ejemplos de restricciones:

• Mínimos cuadrados con restricciones de igualdad : los elementos de deben satisfacer exactamente (ver Mínimos cuadrados ordinarios ). ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} }$
• Mínimos cuadrados estocásticos (lineales) restringidos: los elementos de deben satisfacer , donde es un vector de variables aleatorias tales que y . Esto impone efectivamente una distribución previa para y es por lo tanto equivalente a la regresión lineal bayesiana . ^[3] ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \mathbf {L} {\boldsymbol {\beta }}=\mathbf {d} +\mathbf {\nu } }$ ${\displaystyle \mathbf {\nu } }$ ${\displaystyle \operatorname {E} (\mathbf {\nu } )=\mathbf {0} }$ ${\displaystyle \operatorname {E} (\mathbf {\nu } \mathbf {\nu } ^{\rm {T}})=\tau ^{2}\mathbf {I} }$ ${\displaystyle {\boldsymbol {\beta }}}$
• Mínimos cuadrados regularizados : los elementos de deben satisfacer (elegir en proporción a la desviación estándar del ruido de y evita el sobreajuste). ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \|\mathbf {L} {\boldsymbol {\beta }}-\mathbf {y} \|\leq \alpha }$ ${\displaystyle \alpha }$
• Mínimos cuadrados no negativos (NNLS): el vector debe satisfacer la desigualdad vectorial definida componente por componente, es decir, cada componente debe ser positivo o cero. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {\beta }}\geq {\boldsymbol {0}}}$
• Mínimos cuadrados con restricciones de caja: el vector debe satisfacer las desigualdades vectoriales , cada una de las cuales se define componente por componente. ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {b}}_{\ell }\leq {\boldsymbol {\beta }}\leq {\boldsymbol {b}}_{u}}$
• Mínimos cuadrados con restricciones enteras: todos los elementos de deben ser números enteros (en lugar de números reales ). ${\displaystyle {\boldsymbol {\beta }}}$
• Mínimos cuadrados con restricciones de fase: todos los elementos de deben ser números reales o multiplicados por el mismo número complejo del módulo unitario. ${\displaystyle {\boldsymbol {\beta }}}$

Si la restricción solo se aplica a algunas de las variables, el problema mixto se puede resolver utilizando mínimos cuadrados separables ^[4] al dejar que y representen los componentes no restringidos (1) y restringidos (2). Luego, sustituyendo la solución de mínimos cuadrados por , es decir ${\displaystyle \mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]}$ ${\displaystyle \mathbf {\beta } ^{\rm {T}}=[\mathbf {\beta _{1}} ^{\rm {T}}\mathbf {\beta _{2}} ^{\rm {T}}]}$ ${\displaystyle \mathbf {\beta _{1}} }$

${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{\boldsymbol {\beta }}_{2})}$

(donde ⁺ indica la pseudoinversa de Moore–Penrose ) de vuelta a la expresión original da (después de algún reordenamiento) una ecuación que puede resolverse como un problema puramente restringido en . ${\displaystyle \mathbf {\beta } _{2}}$

${\displaystyle \mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta }}_{2}=\mathbf {P} \mathbf {y} ,}$

donde es una matriz de proyección . Siguiendo la estimación restringida del vector se obtiene a partir de la expresión anterior. ${\displaystyle \mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{2}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{1}}$

Véase también

• Regresión lineal bayesiana
• Optimización restringida
• Programación de números enteros

Referencias

1. Amemiya, Takeshi (1985). "Modelo 1 con restricciones lineales". Econometría avanzada . Oxford: Basil Blackwell. pp. 20–26. ISBN 0-631-15583-X.
2. Boyd, Stephen; Vandenberghe, Lieven (2018). Introducción al álgebra lineal aplicada: vectores, matrices y mínimos cuadrados. Cambridge University Press. ISBN 978-1-316-51896-0.
3. Fomby, Thomas B.; Hill, R. Carter; Johnson, Stanley R. (1988). "Uso de información previa". Métodos econométricos avanzados (edición de tapa blanda corregida). Nueva York: Springer-Verlag. págs. 80-121. ISBN 0-387-96868-7.
4. Bjork, Ake (1996). "Problemas separables y restringidos". Métodos numéricos para problemas de mínimos cuadrados . Filadelfia: SIAM. p. 351. ISBN 0898713609.