El principio máximo de Pontryagin

Principio de la teoría del control óptimo para conocer la mejor manera de cambiar el estado en un sistema dinámico

El principio máximo de Pontryagin se utiliza en la teoría del control óptimo para encontrar el mejor control posible para llevar un sistema dinámico de un estado a otro, especialmente en presencia de restricciones para el estado o controles de entrada. Afirma que es necesario para cualquier control óptimo junto con la trayectoria del estado óptimo resolver el llamado sistema hamiltoniano, que es un problema de valor límite de dos puntos , más una condición máxima del control hamiltoniano . ^[a] Estas condiciones necesarias se vuelven suficientes bajo ciertas condiciones de convexidad en las funciones objetivo y de restricción. ^{[1] [2]}

El principio de máximo fue formulado en 1956 por el matemático ruso Lev Pontryagin y sus alumnos, ^{[3] [4]} y su aplicación inicial fue para la maximización de la velocidad terminal de un cohete. ^[5] El resultado se obtuvo utilizando ideas del cálculo de variaciones clásico . ^[6] Después de una ligera perturbación del control óptimo, se considera el término de primer orden de una expansión de Taylor con respecto a la perturbación; enviar la perturbación a cero conduce a una desigualdad variacional de la que se sigue el principio máximo. ^[7]

Ampliamente considerado como un hito en la teoría del control óptimo, la importancia del principio de máximo radica en el hecho de que maximizar el hamiltoniano es mucho más fácil que el problema de control de dimensión infinita original; en lugar de maximizar en un espacio funcional , el problema se convierte en una optimización puntual . ^[8] Una lógica similar conduce al principio de optimización de Bellman , un enfoque relacionado con los problemas de control óptimo que establece que la trayectoria óptima sigue siendo óptima en puntos intermedios en el tiempo. ^[9] La ecuación resultante de Hamilton-Jacobi-Bellman proporciona una condición necesaria y suficiente para un óptimo, y admite una extensión directa a problemas de control óptimo estocástico, mientras que el principio de máximo no. ^[7] Sin embargo, a diferencia de la ecuación de Hamilton-Jacobi-Bellman, que debe cumplirse en todo el espacio de estados para ser válida, el Principio Máximo de Pontryagin es potencialmente más eficiente computacionalmente en el sentido de que las condiciones que especifica sólo necesitan cumplirse en un trayectoria determinada.

Notación

Para conjuntos y funciones ${\displaystyle {\mathcal {U}}}$

${\displaystyle \Psi :\mathbb {R} ^{n}\to \mathbb {R} }$,

${\displaystyle H:\mathbb {R} ^{n}\times {\mathcal {U}}\times \mathbb {R} ^{n}\times \mathbb {R} \to \mathbb {R} }$,

${\displaystyle L:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} }$,

${\displaystyle f:\mathbb {R} ^{n}\times {\mathcal {U}}\to \mathbb {R} ^{n}}$,

Usamos la siguiente notación:

${\displaystyle \Psi _{T}(x(T))=\left.{\frac {\partial \Psi (x)}{\partial T}}\right|_{x=x(T)}\,}$,

${\displaystyle \Psi _{x}(x(T))={\begin{bmatrix}\left.{\frac {\partial \Psi (x)}{\partial x_{1}}}\right|_{x=x(T)}&\cdots &\left.{\frac {\partial \Psi (x)}{\partial x_{n}}}\right|_{x=x(T)}\end{bmatrix}}}$,

${\displaystyle H_{x}(x^{*},u^{*},\lambda ^{*},t)={\begin{bmatrix}\left.{\frac {\partial H}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}&\cdots &\left.{\frac {\partial H}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*},\lambda =\lambda ^{*}}\end{bmatrix}}}$,

${\displaystyle L_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial L}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial L}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$,

${\displaystyle f_{x}(x^{*},u^{*})={\begin{bmatrix}\left.{\frac {\partial f_{1}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\cdots &\left.{\frac {\partial f_{1}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\\\vdots &\ddots &\vdots \\\left.{\frac {\partial f_{n}}{\partial x_{1}}}\right|_{x=x^{*},u=u^{*}}&\ldots &\left.{\frac {\partial f_{n}}{\partial x_{n}}}\right|_{x=x^{*},u=u^{*}}\end{bmatrix}}}$.

Declaración formal de condiciones necesarias para problemas de minimización.

Aquí se muestran las condiciones necesarias para la minimización de un funcional.

Considere un sistema dinámico de n dimensiones , con variable de estado y variable de control , donde es el conjunto de controles admisibles. La evolución del sistema está determinada por el estado y el control, según la ecuación diferencial . Sea el estado inicial del sistema y controle la evolución del sistema durante el período de tiempo con valores . Este último está determinado por la siguiente ecuación diferencial: ${\displaystyle x\in \mathbb {R} ^{n}}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle {\mathcal {U}}}$ ${\displaystyle {\dot {x}}=f(x,u)}$ ${\displaystyle x_{0}}$ ${\displaystyle t\in [0,T]}$

${\displaystyle {\dot {x}}=f(x,u),\quad x(0)=x_{0},\quad u(t)\in {\mathcal {U}},\quad t\in [0,T]}$

La trayectoria de control debe elegirse según un objetivo. El objetivo es un funcional definido por ${\displaystyle u:[0,T]\to {\mathcal {U}}}$ ${\displaystyle J}$

${\displaystyle J=\Psi (x(T))+\int _{0}^{T}L{\big (}x(t),u(t){\big )}\,dt}$,

donde puede interpretarse como la tasa de costo por ejercer control en el estado , y puede interpretarse como el costo por terminar en el estado . La elección específica depende de la aplicación. ${\displaystyle L(x,u)}$ ${\displaystyle u}$ ${\displaystyle x}$ ${\displaystyle \Psi (x)}$ ${\displaystyle x}$ ${\displaystyle L,\Psi }$

Las restricciones de la dinámica del sistema se pueden unir al lagrangiano introduciendo un vector multiplicador de Lagrange variable en el tiempo , cuyos elementos se denominan costados del sistema. Esto motiva la construcción del hamiltoniano definido para todos por: ${\displaystyle L}$ ${\displaystyle \lambda }$ ${\displaystyle H}$ ${\displaystyle t\in [0,T]}$

${\displaystyle H{\big (}x(t),u(t),\lambda (t),t{\big )}=\lambda ^{\rm {T}}(t)\cdot f{\big (}x(t),u(t){\big )}+L{\big (}x(t),u(t){\big )}}$

¿Dónde está la transpuesta de ? ${\displaystyle \lambda ^{\rm {T}}}$ ${\displaystyle \lambda }$

El principio mínimo de Pontryagin establece que la trayectoria del estado óptimo , el control óptimo y el vector multiplicador de Lagrange correspondiente deben minimizar el hamiltoniano de modo que ${\displaystyle x^{*}}$ ${\displaystyle u^{*}}$ ${\displaystyle \lambda ^{*}}$ ${\displaystyle H}$

para todo momento y para todas las entradas de control permitidas . Aquí, la trayectoria del vector multiplicador lagrangiano es la solución de la ecuación de costate y sus condiciones terminales: ${\displaystyle t\in [0,T]}$ ${\displaystyle u\in {\mathcal {U}}}$ ${\displaystyle \lambda }$

Si es fijo, entonces estas tres condiciones en (1)-(3) son las condiciones necesarias para un control óptimo. ${\displaystyle x(T)}$

Si el estado final no es fijo (es decir, su variación diferencial no es cero), existe una condición adicional ${\displaystyle x(T)}$

Estas cuatro condiciones en (1)-(4) son las condiciones necesarias para un control óptimo.

Ver también

• Multiplicadores de Lagrange en espacios de Banach , método lagrangiano en cálculo de variaciones

Notas

1. Si el valor extremo es máximo o mínimo depende de la convención de signos utilizada para definir el hamiltoniano. La convención histórica conduce a un principio de máximo y, por tanto, de máximo. En los últimos años, se le conoce más comúnmente simplemente como Principio de Pontryagin, sin el uso de los adjetivos máximo o mínimo.

Referencias

1. Mangasarian, OL (1966). "Condiciones suficientes para el control óptimo de sistemas no lineales". Revista SIAM de Control . 4 (1): 139-152. doi :10.1137/0304013.
2. Kamien, Morton I .; Schwartz, Nancy L. (1971). "Condiciones suficientes en la teoría del control óptimo". Revista de teoría económica . 3 (2): 207–214. doi :10.1016/0022-0531(71)90018-4.
3. Boltyanski, V.; Martini, H.; Soltán, V. (1998). "El Principio Máximo - ¿Cómo surgió?". Métodos geométricos y problemas de optimización . Nueva York: Springer. págs. 204-227. ISBN 0-7923-5454-0.
4. Gamkrelidze, RV (1999). "Descubrimiento del Principio Máximo". Revista de sistemas dinámicos y de control . 5 (4): 437–451. doi :10.1023/A:1021783020548. S2CID  122690986.Reimpreso en Bolibruch, AA ; et al., eds. (2006). Acontecimientos matemáticos del siglo XX . Berlín: Springer. págs. 85–99. ISBN 3-540-23235-4.
5. Para los primeros trabajos publicados, consulte las referencias en Fuller, AT (1963). "Bibliografía del principio máximo de Pontryagin". J. Electrónica y control . 15 (5): 513–517. doi :10.1080/00207216308937602.
6. McShane, EJ (1989). "El cálculo de variaciones desde el principio hasta la teoría del control óptimo". SIAM J. Control óptimo . 27 (5): 916–939. doi :10.1137/0327049.
7. Yong, J.; Zhou, XY (1999). "Principio de máximo y sistemas hamiltonianos estocásticos". Controles estocásticos: sistemas hamiltonianos y ecuaciones HJB . Nueva York: Springer. págs. 101-156. ISBN 0-387-98723-1.
8. Sastry, Shankar (29 de marzo de 2009). "Notas de la conferencia 8. Control óptimo y juegos dinámicos" (PDF) .
9. Zhou, XY (1990). "Principio de máxima, programación dinámica y su conexión en el control determinista". Revista de teoría y aplicaciones de optimización . 65 (2): 363–373. doi :10.1007/BF01102352. S2CID  122333807.

Otras lecturas

• Geering, HP (2007). Control Óptimo con Aplicaciones de Ingeniería . Saltador. ISBN 978-3-540-69437-3.
• Kirk, DE (1970). Teoría del control óptimo: una introducción . Prentice Hall. ISBN 0-486-43484-2.
• Lee, EB; Markus, L. (1967). Fundamentos de la teoría del control óptimo . Nueva York: Wiley.
• Seierstad, Atle; Sydsaeter, Knut (1987). Teoría del control óptimo con aplicaciones económicas . Ámsterdam: Holanda Septentrional. ISBN 0-444-87923-4.

enlaces externos

• "Principio máximo de Pontryagin", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]