Control lineal-cuadrático-gaussiano

Técnica de control óptimo lineal

En la teoría de control , el problema de control lineal-cuadrático-gaussiano ( LQG ) es uno de los problemas de control óptimo más fundamentales , y también se puede operar repetidamente para el control predictivo del modelo . Se refiere a sistemas lineales impulsados ​​por ruido gaussiano blanco aditivo . El problema es determinar una ley de retroalimentación de salida que sea óptima en el sentido de minimizar el valor esperado de un criterio de costo cuadrático . Se supone que las mediciones de salida están corrompidas por el ruido gaussiano y, de la misma manera, se supone que el estado inicial es un vector aleatorio gaussiano.

Bajo estos supuestos, un esquema de control óptimo dentro de la clase de leyes de control lineal puede derivarse mediante un argumento de compleción de cuadrados. ^[1] Esta ley de control, que se conoce como el controlador LQG , es única y es simplemente una combinación de un filtro Kalman (un estimador de estado lineal-cuadrático (LQE)) junto con un regulador lineal-cuadrático (LQR). El principio de separación establece que el estimador de estado y la retroalimentación de estado pueden diseñarse de forma independiente. El control LQG se aplica tanto a sistemas lineales invariantes en el tiempo como a sistemas lineales variables en el tiempo , y constituye una ley de control de retroalimentación dinámica lineal que se calcula e implementa fácilmente: el controlador LQG en sí mismo es un sistema dinámico como el sistema que controla. Ambos sistemas tienen la misma dimensión de estado.

Una afirmación más profunda del principio de separación es que el controlador LQG sigue siendo óptimo en una clase más amplia de controladores posiblemente no lineales. Es decir, utilizar un esquema de control no lineal no mejorará el valor esperado de la función de costo. Esta versión del principio de separación es un caso especial del principio de separación del control estocástico que establece que incluso cuando las fuentes de ruido de proceso y salida son posiblemente martingalas no gaussianas , siempre que la dinámica del sistema sea lineal, el control óptimo se separa en un estimador de estado óptimo (que puede que ya no sea un filtro de Kalman) y un regulador LQR. ^{[2] [3]}

En el contexto clásico de LQG, la implementación del controlador LQG puede ser problemática cuando la dimensión del estado del sistema es grande. El problema LQG de orden reducido (problema LQG de orden fijo) supera esto fijando a priori el número de estados del controlador LQG. Este problema es más difícil de resolver porque ya no es separable. Además, la solución ya no es única. A pesar de estos hechos, existen algoritmos numéricos ^{[4] [5] [6] [7]} para resolver las ecuaciones de proyección óptimas asociadas ^{[8] [9]} que constituyen condiciones necesarias y suficientes para un controlador LQG de orden reducido localmente óptimo. ^[4]

La optimalidad de LQG no garantiza automáticamente buenas propiedades de robustez. ^{[10] [11]} La estabilidad robusta del sistema de lazo cerrado debe comprobarse por separado después de que se haya diseñado el controlador LQG. Para promover la robustez, algunos de los parámetros del sistema pueden suponerse estocásticos en lugar de deterministas. El problema de control asociado más difícil conduce a un controlador óptimo similar del cual solo los parámetros del controlador son diferentes. ^[5]

Es posible calcular el valor esperado de la función de costo para las ganancias óptimas, así como cualquier otro conjunto de ganancias estables. ^[12]

El controlador LQG también se utiliza para controlar sistemas no lineales perturbados. ^[13]

Descripción matemática del problema y solución.

Tiempo continuo

Consideremos el sistema dinámico lineal de tiempo continuo

${\displaystyle {\dot {\mathbf {x} }}(t)=A(t)\mathbf {x} (t)+B(t)\mathbf {u} (t)+\mathbf {v} (t),}$

${\displaystyle \mathbf {y} (t)=C(t)\mathbf {x} (t)+\mathbf {w} (t),}$

donde representa el vector de variables de estado del sistema, el vector de entradas de control y el vector de salidas medidas disponibles para retroalimentación. Tanto el ruido blanco gaussiano aditivo del sistema como el ruido blanco gaussiano aditivo de medición afectan al sistema. Dado este sistema, el objetivo es encontrar el historial de entradas de control que en cada momento pueda depender linealmente solo de las mediciones pasadas de modo que se minimice la siguiente función de costo: ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\mathbf {u} }}$ ${\displaystyle {\mathbf {y} }}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle {\mathbf {u} }(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {y} }(t'),0\leq t'<t}$

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} ^{\mathrm {T} }}(T)F{\mathbf {x} }(T)+\int _{0}^{T}{\mathbf {x} ^{\mathrm {T} }}(t)Q(t){\mathbf {x} }(t)+{\mathbf {u} ^{\mathrm {T} }}(t)R(t){\mathbf {u} }(t)\,dt\right],}$

${\displaystyle F\geq 0,\quad Q(t)\geq 0,\quad R(t)>0,}$

donde denota el valor esperado . El tiempo final (horizonte) puede ser finito o infinito. Si el horizonte tiende al infinito, el primer término de la función de costo se vuelve despreciable e irrelevante para el problema. Además, para mantener los costos finitos, la función de costo debe tomarse como . ${\displaystyle \mathbb {E} }$ ${\displaystyle {\mathbf {} }T}$ ${\displaystyle {\mathbf {x} }^{\mathrm {T} }(T)F{\mathbf {x} }(T)}$ ${\displaystyle {\mathbf {} }J/T}$

El controlador LQG que resuelve el problema de control LQG se especifica mediante las siguientes ecuaciones:

${\displaystyle {\dot {\hat {\mathbf {x} }}}(t)=A(t){\hat {\mathbf {x} }}(t)+B(t){\mathbf {u} }(t)+L(t)\left({\mathbf {y} }(t)-C(t){\hat {\mathbf {x} }}(t)\right),\quad {\hat {\mathbf {x} }}(0)=\mathbb {E} \left[{\mathbf {x} }(0)\right],}$

${\displaystyle {\mathbf {u} }(t)=-K(t){\hat {\mathbf {x} }}(t).}$

La matriz se denomina ganancia de Kalman del filtro de Kalman asociado representado por la primera ecuación. En cada momento, este filtro genera estimaciones del estado utilizando las mediciones y entradas anteriores. La ganancia de Kalman se calcula a partir de las matrices , las dos matrices de intensidad asociadas a los ruidos gaussianos blancos y y finalmente . Estas cinco matrices determinan la ganancia de Kalman a través de la siguiente ecuación diferencial de Riccati de la matriz asociada: ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\hat {\mathbf {x} }}(t)}$ ${\displaystyle {\mathbf {x} }(t)}$ ${\displaystyle {\mathbf {} }L(t)}$ ${\displaystyle {\mathbf {} }A(t),C(t)}$ ${\displaystyle \mathbf {} V(t),W(t)}$ ${\displaystyle \mathbf {v} (t)}$ ${\displaystyle \mathbf {w} (t)}$ ${\displaystyle \mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right]}$

${\displaystyle {\dot {P}}(t)=A(t)P(t)+P(t)A^{\mathrm {T} }(t)-P(t)C^{\mathrm {T} }(t){\mathbf {} }W^{-1}(t)C(t)P(t)+V(t),}$

${\displaystyle P(0)=\mathbb {E} \left[{\mathbf {x} }(0){\mathbf {x} }^{\mathrm {T} }(0)\right].}$

Dada la solución, la ganancia de Kalman es igual a ${\displaystyle P(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }L(t)=P(t)C^{\mathrm {T} }(t)W^{-1}(t).}$

La matriz se denomina matriz de ganancia de realimentación . Esta matriz está determinada por las matrices y por la siguiente ecuación diferencial de Riccati asociada a la matriz: ${\displaystyle {\mathbf {} }K(t)}$ ${\displaystyle {\mathbf {} }A(t),B(t),Q(t),R(t)}$ ${\displaystyle {\mathbf {} }F}$

${\displaystyle -{\dot {S}}(t)=A^{\mathrm {T} }(t)S(t)+S(t)A(t)-S(t)B(t)R^{-1}(t)B^{\mathrm {T} }(t)S(t)+Q(t),}$

${\displaystyle {\mathbf {} }S(T)=F.}$

Dada la solución, la ganancia de retroalimentación es igual a ${\displaystyle {\mathbf {} }S(t),0\leq t\leq T}$

${\displaystyle {\mathbf {} }K(t)=R^{-1}(t)B^{\mathrm {T} }(t)S(t).}$

Observe la similitud de las dos ecuaciones diferenciales matriciales de Riccati, la primera que se ejecuta hacia adelante en el tiempo, la segunda que se ejecuta hacia atrás en el tiempo. Esta similitud se llama dualidad . La primera ecuación diferencial matricial de Riccati resuelve el problema de estimación lineal-cuadrático (LQE). La segunda ecuación diferencial matricial de Riccati resuelve el problema del regulador lineal-cuadrático (LQR). Estos problemas son duales y juntos resuelven el problema de control lineal-cuadrático-gaussiano (LQG). Por lo tanto, el problema LQG se separa en el problema LQE y LQR que se pueden resolver de forma independiente. Por lo tanto, el problema LQG se llama separable .

Cuando y las matrices de intensidad de ruido no dependen de y cuando tiende a infinito, el controlador LQG se convierte en un sistema dinámico invariante en el tiempo. En ese caso, la segunda ecuación diferencial matricial de Riccati puede reemplazarse por la ecuación algebraica de Riccati asociada . ${\displaystyle {\mathbf {} }A(t),B(t),C(t),Q(t),R(t)}$ ${\displaystyle \mathbf {} V(t)}$ ${\displaystyle \mathbf {} W(t)}$ ${\displaystyle {\mathbf {} }t}$ ${\displaystyle {\mathbf {} }T}$

Tiempo discreto

Dado que el problema de control LQG en tiempo discreto es similar al de tiempo continuo, la descripción a continuación se centra en las ecuaciones matemáticas.

Las ecuaciones del sistema lineal de tiempo discreto son

${\displaystyle {\mathbf {x} }_{i+1}=A_{i}\mathbf {x} _{i}+B_{i}\mathbf {u} _{i}+\mathbf {v} _{i},}$

${\displaystyle \mathbf {y} _{i}=C_{i}\mathbf {x} _{i}+\mathbf {w} _{i}.}$

Aquí se representa el índice de tiempo discreto y se representan procesos de ruido blanco gaussiano de tiempo discreto con matrices de covarianza , respectivamente, y son independientes entre sí. ${\displaystyle \mathbf {} i}$ ${\displaystyle \mathbf {v} _{i},\mathbf {w} _{i}}$ ${\displaystyle \mathbf {} V_{i},W_{i}}$

La función de costo cuadrático a minimizar es

${\displaystyle J=\mathbb {E} \left[{\mathbf {x} }_{N}^{\mathrm {T} }F{\mathbf {x} }_{N}+\sum _{i=0}^{N-1}(\mathbf {x} _{i}^{\mathrm {T} }Q_{i}\mathbf {x} _{i}+\mathbf {u} _{i}^{\mathrm {T} }R_{i}\mathbf {u} _{i})\right],}$

${\displaystyle F\geq 0,Q_{i}\geq 0,R_{i}>0.\,}$

El controlador LQG de tiempo discreto es

${\displaystyle {\hat {\mathbf {x} }}_{i+1}=A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}{\mathbf {u} }_{i}+L_{i+1}\left({\mathbf {y} }_{i+1}-C_{i+1}\left\{A_{i}{\hat {\mathbf {x} }}_{i}+B_{i}\mathbf {u} _{i}\right\}\right),\qquad {\hat {\mathbf {x} }}_{0}=\mathbb {E} [{\mathbf {x} }_{0}]}$,

${\displaystyle \mathbf {u} _{i}=-K_{i}{\hat {\mathbf {x} }}_{i}.\,}$

y corresponde a la estimación predictiva . ${\displaystyle {\hat {\mathbf {x} }}_{i}}$ ${\displaystyle {\hat {\mathbf {x} }}_{i}=\mathbb {E} [\mathbf {x} _{i}|\mathbf {y} ^{i},\mathbf {u} ^{i-1}]}$

La ganancia de Kalman es igual a

${\displaystyle {\mathbf {} }L_{i}=P_{i}C_{i}^{\mathrm {T} }(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i})^{-1},}$

donde se determina mediante la siguiente ecuación diferencial matricial de Riccati que se ejecuta hacia adelante en el tiempo: ${\displaystyle {\mathbf {} }P_{i}}$

${\displaystyle P_{i+1}=A_{i}\left(P_{i}-P_{i}C_{i}^{\mathrm {T} }\left(C_{i}P_{i}C_{i}^{\mathrm {T} }+W_{i}\right)^{-1}C_{i}P_{i}\right)A_{i}^{\mathrm {T} }+V_{i},\qquad P_{0}=\mathbb {E} [\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)\left({\mathbf {x} }_{0}-{\hat {\mathbf {x} }}_{0}\right)^{\mathrm {T} }].}$

La matriz de ganancia de retroalimentación es igual a

${\displaystyle {\mathbf {} }K_{i}=(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i})^{-1}B_{i}^{\mathrm {T} }S_{i+1}A_{i}}$

donde está determinada por la siguiente ecuación diferencial matricial de Riccati que se ejecuta hacia atrás en el tiempo: ${\displaystyle {\mathbf {} }S_{i}}$

${\displaystyle S_{i}=A_{i}^{\mathrm {T} }\left(S_{i+1}-S_{i+1}B_{i}\left(B_{i}^{\mathrm {T} }S_{i+1}B_{i}+R_{i}\right)^{-1}B_{i}^{\mathrm {T} }S_{i+1}\right)A_{i}+Q_{i},\quad S_{N}=F.}$

Si todas las matrices en la formulación del problema son invariantes en el tiempo y si el horizonte tiende al infinito, el controlador LQG de tiempo discreto se vuelve invariante en el tiempo. En ese caso, las ecuaciones de diferencia de Riccati matriciales pueden reemplazarse por sus ecuaciones de Riccati algebraicas de tiempo discreto asociadas. Estas determinan el estimador lineal-cuadrático invariante en el tiempo y el regulador lineal-cuadrático invariante en el tiempo en tiempo discreto. Para mantener los costos finitos en lugar de uno tiene que considerar en este caso. ${\displaystyle {\mathbf {} }N}$ ${\displaystyle {\mathbf {} }J}$ ${\displaystyle {\mathbf {} }J/N}$

Véase también

• Control estocástico
• El contraejemplo de Witsenhausen

Referencias

1. Karl Johan Astrom (1970). Introducción a la teoría del control estocástico . Vol. 58. Academic Press. ISBN 0-486-44531-3.
2. Anders Lindquist (1973). "Sobre el control por retroalimentación de sistemas estocásticos lineales". Revista SIAM sobre control . 11 (2): 323–343. doi :10.1137/0311025..
3. Tryphon T. Georgiou y Anders Lindquist (2013). "El principio de separación en el control estocástico, Redux". IEEE Transactions on Automatic Control . 58 (10): 2481–2494. arXiv : 1103.3005 . doi :10.1109/TAC.2013.2259207. S2CID  12623187.
4. Van Willigenburg LG; De Koning WL (2000). "Algoritmos numéricos y cuestiones relativas a las ecuaciones de proyección óptimas en tiempo discreto". Revista Europea de Control . 6 (1): 93–100. doi :10.1016/s0947-3580(00)70917-4.Descarga de software asociado desde Matlab Central.
5. Van Willigenburg LG; De Koning WL (1999). "Compensadores óptimos de orden reducido para sistemas de tiempo discreto variables en el tiempo con parámetros deterministas y blancos". Automatica . 35 : 129–138. doi :10.1016/S0005-1098(98)00138-1.Descarga de software asociado desde Matlab Central.
6. Zigic D.; Watson LT; Collins EG; Haddad WM; Ying S. (1996). "Métodos de homotopía para resolver las ecuaciones de proyección óptimas para el problema del modelo de orden reducido H2". Revista Internacional de Control . 56 (1): 173–191. doi :10.1080/00207179208934308.
7. Collins Jr. EG; Haddad WM; Ying S. (1996). "Un algoritmo de homotopía para compensación dinámica de orden reducido utilizando las ecuaciones de proyección óptima de Hyland-Bernstein". Journal of Guidance, Control, and Dynamics . 19 (2): 407–417. doi :10.2514/3.21633.
8. Hyland DC; Bernstein DS (1984). "Las ecuaciones de proyección óptimas para compensación dinámica de orden fijo" (PDF) . IEEE Transactions on Automatic Control . AC-29 (11): 1034–1037. doi :10.1109/TAC.1984.1103418. hdl : 2027.42/57875 .
9. Bernstein DS; Davis LD; Hyland DC (1986). "Las ecuaciones de proyección óptimas para la estimación y el control de modelos de tiempo discreto de orden reducido" (PDF) . Journal of Guidance, Control, and Dynamics . 9 (3): 288–293. Bibcode :1986JGCD....9..288B. doi :10.2514/3.20105. hdl : 2027.42/57880 .
10. Doyle, John C. (1978). "Márgenes garantizados para reguladores LQG" (PDF) . IEEE Transactions on Automatic Control . 23 (4): 756–757. doi :10.1109/TAC.1978.1101812. ISSN  0018-9286.
11. Green, Michael; Limebeer, David JN (1995). Control robusto lineal. Englewood Cliffs: Prentice Hall. pág. 27. ISBN 0-13-102278-4.
12. Matsakis, Demetrios (8 de marzo de 2019). "Los efectos de las estrategias de dirección proporcional en el comportamiento de los relojes controlados". Metrologia . 56 (2): 025007. Bibcode :2019Metro..56b5007M. doi : 10.1088/1681-7575/ab0614 .
13. Athans M. (1971). "El papel y el uso del problema estocástico lineal-cuadrático-gaussiano en el diseño de sistemas de control". IEEE Transactions on Automatic Control . AC-16 (6): 529–552. doi :10.1109/TAC.1971.1099818.

Lectura adicional

• Stengel, Robert F. (1994). Control óptimo y estimación. Nueva York: Dover. ISBN 0-486-68200-5.