Principio de máximo de Pontryagin

Principio de la teoría del control óptimo para la mejor manera de cambiar el estado en un sistema dinámico

El principio de máximo de Pontryagin se utiliza en la teoría de control óptimo para encontrar el mejor control posible para llevar un sistema dinámico de un estado a otro, especialmente en presencia de restricciones para el estado o los controles de entrada. Afirma que es necesario para cualquier control óptimo junto con la trayectoria óptima del estado para resolver el llamado sistema hamiltoniano, que es un problema de valor límite de dos puntos , más una condición máxima del hamiltoniano de control . ^[a] Estas condiciones necesarias se vuelven suficientes bajo ciertas condiciones de convexidad en las funciones objetivo y de restricción. ^{[1] [2]}

El principio de máximo fue formulado en 1956 por el matemático ruso Lev Pontryagin y sus estudiantes, ^{[3] [4]} y su aplicación inicial fue la maximización de la velocidad terminal de un cohete. ^[5] El resultado se derivó utilizando ideas del cálculo clásico de variaciones . ^[6] Después de una ligera perturbación del control óptimo, se considera el término de primer orden de una expansión de Taylor con respecto a la perturbación; enviar la perturbación a cero conduce a una desigualdad variacional de la que se sigue el principio de máximo. ^[7]

Considerado ampliamente como un hito en la teoría del control óptimo, la importancia del principio de máximo radica en el hecho de que maximizar el hamiltoniano es mucho más fácil que el problema de control de dimensión infinita original; en lugar de maximizar sobre un espacio de funciones , el problema se convierte en una optimización puntual . ^[8] Una lógica similar conduce al principio de optimalidad de Bellman , un enfoque relacionado con los problemas de control óptimo que establece que la trayectoria óptima sigue siendo óptima en puntos intermedios en el tiempo. ^[9] La ecuación de Hamilton-Jacobi-Bellman resultante proporciona una condición necesaria y suficiente para un óptimo, y admite una extensión directa a los problemas de control óptimo estocástico, mientras que el principio de máximo no lo hace. ^[7] Sin embargo, en contraste con la ecuación de Hamilton-Jacobi-Bellman, que debe cumplirse en todo el espacio de estados para ser válida, el Principio de Máximo de Pontryagin es potencialmente más eficiente computacionalmente en el sentido de que las condiciones que especifica solo deben cumplirse en una trayectoria particular.

Notación

Para conjuntos y funciones ${\displaystyle {\mathcal {U}}}$

${\displaystyle \Psi :\mathbb {R} ^{n}\to \mathbb {R} }$,

${\displaystyle H:\mathbb {R} ^{n}\times {\mathcal {U}}\times \mathbb {R} ^{n}\times \mathbb {R} \to \mathbb {R} }$,

${\displaystyle L:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} }$,

${\displaystyle f:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} ^{n}}$,

Utilizamos la siguiente notación:

${\displaystyle \Psi _{T}(x(T))=\left.{\frac {\partial \Psi (x)}{\partial T}}\right|_{x=x(T)}\,}$,

${\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}\left.{\frac {\partial \Psi (x)}{\partial x_{1}}}\right|_{x=x(T)}&\cdots &\left.{\frac {\partial \Psi (x)}{\partial x_{n}}}\right|_{x=x(T)}\end{bmatrix}}}$,

${\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}\left.{\frac {\partial H}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &\left.{\frac {\partial H}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}$,

${\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial L}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial L}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$,

${\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial f_{1}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial f_{1}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\\left.{\frac {\partial f_{n}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\ldots &\left.{\frac {\partial f_{n}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$.

Declaración formal de las condiciones necesarias para los problemas de minimización

Aquí se muestran las condiciones necesarias para la minimización de un funcional.

Considérese un sistema dinámico n-dimensional , con variable de estado , y variable de control , donde es el conjunto de controles admisibles. La evolución del sistema está determinada por el estado y el control, según la ecuación diferencial . Sea el estado inicial del sistema y sea la evolución del sistema controlada a lo largo del periodo de tiempo con valores . Esta última está determinada por la siguiente ecuación diferencial: ${\displaystyle x\in \mathbb {R} ^{n}}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle {\mathcal {U}}}$ ${\displaystyle {\dot {x}}=f(x,u)}$ ${\displaystyle x_{0}}$ ${\displaystyle t\in [0,T]}$

${\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}$

La trayectoria de control se debe elegir en función de un objetivo. El objetivo es una función definida por ${\displaystyle u:[0,T]\to {\mathcal {U}}}$ ${\displaystyle J}$

${\displaystyle J=\Psi (x(T))+\int _{0}^{T}L{\big (}x(t),u(t){\big )}\,dt}$,

donde se puede interpretar como la tasa de costo de ejercer control en el estado y se puede interpretar como el costo de terminar en el estado . La elección específica de depende de la aplicación. ${\displaystyle L(x,u)}$ ${\displaystyle u}$ ${\displaystyle x}$ ${\displaystyle \Psi (x)}$ ${\displaystyle x}$ ${\displaystyle L,\Psi }$

Las restricciones sobre la dinámica del sistema se pueden agregar al lagrangiano introduciendo un vector multiplicador de Lagrange variable en el tiempo , cuyos elementos se denominan co- estados del sistema. Esto motiva la construcción del hamiltoniano definido para todos por: ${\displaystyle L}$ ${\displaystyle \lambda }$ ${\displaystyle H}$ ${\displaystyle t\in [0,T]}$

${\displaystyle H{\big (}x(t),u(t),\lambda (t),t{\big )}=\lambda ^{\rm {T}}(t)\cdot f{\big (}x(t),u(t){\big )}+L{\big (}x(t),u(t){\big )}}$

¿Dónde está la transpuesta de ? ${\displaystyle \lambda ^{\rm {T}}}$ ${\displaystyle \lambda }$

El principio mínimo de Pontryagin establece que la trayectoria del estado óptimo , el control óptimo y el vector multiplicador de Lagrange correspondiente deben minimizar el hamiltoniano de modo que ${\displaystyle x^{*}}$ ${\displaystyle u^{*}}$ ${\displaystyle \lambda ^{*}}$ ${\displaystyle H}$

para todo momento y para todas las entradas de control admisibles . Aquí, la trayectoria del vector multiplicador de Lagrange es la solución de la ecuación de coestado y sus condiciones terminales: ${\displaystyle t\in [0,T]}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle \lambda }$

Si es fijo, entonces estas tres condiciones en (1)-(3) son las condiciones necesarias para un control óptimo. ${\displaystyle x(T)}$

Si el estado final no es fijo (es decir, su variación diferencial no es cero), existe una condición adicional ${\displaystyle x(T)}$

Estas cuatro condiciones en (1)-(4) son las condiciones necesarias para un control óptimo.

Véase también

• Multiplicadores de Lagrange en espacios de Banach , método lagrangiano en cálculo de variaciones

Notas

1. El hecho de que el valor extremo sea máximo o mínimo depende de la convención de signos utilizada para definir el hamiltoniano. La convención histórica conduce a un máximo, de ahí el principio del máximo. En los últimos años, se lo conoce más comúnmente como el principio de Pontryagin, sin el uso de los adjetivos máximo o mínimo.

Referencias

1. Mangasarian, OL (1966). "Condiciones suficientes para el control óptimo de sistemas no lineales". Revista SIAM sobre control . 4 (1): 139–152. doi :10.1137/0304013.
2. Kamien, Morton I. ; Schwartz, Nancy L. (1971). "Condiciones suficientes en la teoría del control óptimo". Revista de teoría económica . 3 (2): 207–214. doi :10.1016/0022-0531(71)90018-4.
3. Boltyanski, V.; Martini, H.; Soltan, V. (1998). "El principio de máxima: ¿cómo surgió?". Métodos geométricos y problemas de optimización . Nueva York: Springer. pp. 204–227. ISBN 0-7923-5454-0.
4. Gamkrelidze, RV (1999). "Descubrimiento del principio máximo". Revista de sistemas dinámicos y de control . 5 (4): 437–451. doi :10.1023/A:1021783020548. S2CID  122690986.Reimpreso en Bolibruch, AA ; et al., eds. (2006). Eventos matemáticos del siglo XX . Berlín: Springer. pp. 85–99. ISBN. 3-540-23235-4.
5. Para las primeras obras publicadas, véanse las referencias en Fuller, AT (1963). "Bibliografía del principio máximo de Pontryagin". J. Electronics & Control . 15 (5): 513–517. doi :10.1080/00207216308937602.
6. McShane, EJ (1989). "El cálculo de variaciones desde el principio hasta la teoría del control óptimo". SIAM J. Control Optim . 27 (5): 916–939. doi :10.1137/0327049.
7. Yong, J.; Zhou, XY (1999). "Principio de máximo y sistemas hamiltonianos estocásticos". Controles estocásticos: sistemas hamiltonianos y ecuaciones HJB . Nueva York: Springer. págs. 101–156. ISBN 0-387-98723-1.
8. Sastry, Shankar (29 de marzo de 2009). "Apuntes de la clase 8. Control óptimo y juegos dinámicos" (PDF) .
9. Zhou, XY (1990). "Principio máximo, programación dinámica y su conexión en el control determinista". Revista de teoría y aplicaciones de la optimización . 65 (2): 363–373. doi :10.1007/BF01102352. S2CID  122333807.

Lectura adicional

• Geering, HP (2007). Control óptimo con aplicaciones de ingeniería . Springer. ISBN 978-3-540-69437-3.
• Kirk, DE (1970). Teoría del control óptimo: una introducción . Prentice Hall. ISBN 0-486-43484-2.
• Lee, EB; Markus, L. (1967). Fundamentos de la teoría del control óptimo . Nueva York: Wiley.
• Seierstad, Atle; Sydsæter, Knut (1987). Teoría del control óptimo con aplicaciones económicas . Ámsterdam: Holanda Septentrional. ISBN 0-444-87923-4.

Enlaces externos

• "Principio de máximo de Pontryagin", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]