La teoría del control dual es una rama de la teoría del control que se ocupa del control de sistemas cuyas características son inicialmente desconocidas. [1] [2] Se denomina dual porque al controlar un sistema de este tipo los objetivos del controlador son dobles:
Estos dos objetivos pueden estar parcialmente en conflicto. En el contexto del aprendizaje por refuerzo , esto se conoce como el equilibrio entre exploración y explotación (por ejemplo, Bandido multiarmado#Motivación empírica ).
La teoría del control dual fue desarrollada por Alexander Aronovich Feldbaum en 1960. Demostró que, en principio, la solución óptima se puede encontrar mediante programación dinámica , pero esto a menudo es poco práctico; como resultado, se han ideado varios métodos para diseñar controladores duales subóptimos.
Para utilizar una analogía : si usted conduce un coche nuevo, desea llegar a su destino de forma económica y sin problemas, pero también desea ver qué tan bien acelera, frena y gira el coche para tener una mejor idea de cómo conducirlo, por lo que realizará algunas maniobras de prueba para este propósito. De manera similar, un controlador dual inyectará una señal denominada de sondeo (o exploración) en el sistema que puede restarle valor al rendimiento a corto plazo, pero que mejorará el control en el futuro.
{{cite journal}}: Requiere citar revista |journal=( ayuda )