Ecuación de Hamilton-Jacobi-Bellman

La ecuación de Hamilton-Jacobi-Bellman (HJB) es una ecuación diferencial parcial que es fundamental para la teoría de control óptimo.Cuando se resuelve localmente, la HJB es una condición necesaria, pero cuando se resuelve sobre la totalidad del espacio de estados, la ecuación HJB es una condición necesaria y suficiente para un óptimo.La solución es de lazo abierto, pero también permite que la solución del problema sea de lazo cerrado.El método HJB puede ser generalizado a sistemas estocásticos.Hay varios problemas variacionales clásicos, por ejemplo, el problema braquistocrona, se pueden resolver con este método.En tiempo continuo, el resultado puede ser visto como una extensión del trabajo a principios de la física clásica en la ecuación de Hamilton-Jacobi por William Rowan Hamilton y Carl Gustav Jacob Jacobi.: donde C[ ] es la función de tasa de coste escalar y D[ ] es una función que da el valor económico o utilidad en el estado final, x(t) es el vector de estado del sistema, se supone que x(0) está dado, y que u(t) para cada 0 ≤ t ≤ T es el vector de control que estamos tratando de encontrar.El sistema también está sujeto a la dinámica donde F[ ] da el vector de la determinación de la evolución física del vector de estado con el tiempo.Para este sistema simple, la ecuación diferencial parcial de Hamilton-Jacobi-Bellman es: sujeto a la condición terminal donderepresenta el producto punto (o escalar) de los vectoresen la EDP anterior es la "función de valor" de Bellman, que representa el costo en el que se incurre cuando se inicia en el estado x y al tiempo t y, de ahí en adelante, se controla óptimamente el sistema hasta el tiempo finalIntuitivamente HJB se "deriva" de la siguiente manera., se tiene que: Ahora, teniendo en cuenta que el desarrollo de Taylor del último término es: dondetiende a cero, se obtiene la ecuación HJB definida anteriormente.La ecuación HJB suele resolverse usando Inducción hacia atrás, empezando enCuando se resuelve sobre la totalidad del espacio de estados, la ecuación HJB es una condición necesaria y suficiente para un óptimo.En el caso general, la ecuación HJB no tiene una solución clásica (suave).Varios conceptos de soluciones generalizadas se han desarrollado para cubrir este tipo de situaciones, por ejemplo, soluciones viscosas (Pierre-Louis Lions y Michael Crandall), soluciones minimax ( Andrei Izmailovich Subbotin ), entre otros.Usando primero Bellman y luego expandiendocon la regla de Itô, se encuentra la ecuación HJB estocástica.representa el operador de diferenciación estocástica, y sujeto a la condición terminal Tenga en cuenta que la aleatoriedad ha desaparecido.de este último no resuelve necesariamente el problema principal, sólo es un candidato el cual debe verificar otros argumentos que permitan establecer si es o no solución.Esta técnica es ampliamente utilizado en las matemáticas financieras para determinar las estrategias óptimas de inversión en el mercado (véase, por ejemplo problema cartera de Merton).Como ejemplo, podemos mirar un sistema LQ que consiste en una dinámica estocástica lineal y un costo cuadrático.Si la dinámica del sistema está dada por: y el costo se acumula en tasa