Aprendizaje por diferencias temporales

Concepto de programación informática

El aprendizaje por diferencia temporal ( TD ) se refiere a una clase de métodos de aprendizaje por refuerzo sin modelo que aprenden mediante el arranque a partir de la estimación actual de la función de valor. Estos métodos toman muestras del entorno, como los métodos de Monte Carlo , y realizan actualizaciones basadas en las estimaciones actuales, como los métodos de programación dinámica . ^[1]

Mientras que los métodos de Monte Carlo sólo ajustan sus estimaciones una vez que se conoce el resultado final, los métodos TD ajustan las predicciones para que coincidan con predicciones posteriores, más precisas, sobre el futuro antes de que se conozca el resultado final. ^[2] Esta es una forma de bootstrapping , como se ilustra con el siguiente ejemplo:

Supongamos que desea predecir el tiempo que hará el sábado y tiene un modelo que predice el tiempo del sábado, dado el tiempo de cada día de la semana. En el caso estándar, esperaría hasta el sábado y luego ajustaría todos sus modelos. Sin embargo, cuando es, por ejemplo, viernes, debería tener una idea bastante clara de cómo estará el tiempo el sábado y, por lo tanto, debería poder cambiar, digamos, el modelo del sábado antes de que llegue el sábado. ^[2]

Los métodos de diferencia temporal están relacionados con el modelo de diferencia temporal del aprendizaje animal . ^{[3] [4] [5] [6] [7]}

Formulación matemática

El método tabular TD(0) es uno de los métodos TD más simples. Es un caso especial de métodos de aproximación estocástica más generales. Estima la función de valor de estado de un proceso de decisión de Markov (MDP) de estados finitos bajo una política . Denotemos la función de valor de estado del MDP con estados , recompensas y tasa de descuento ^[8] bajo la política : ^[9] ${\displaystyle \pi }$ ${\displaystyle V^{\pi }}$ ${\displaystyle (S_{t})_{t\in \mathbb {N} }}$ ${\displaystyle (R_{t})_{t\in \mathbb {N} }}$ ${\displaystyle \gamma }$ ${\displaystyle \pi }$

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

Omitimos la acción de la notación por conveniencia. satisface la ecuación de Hamilton-Jacobi-Bellman : ${\displaystyle V^{\pi }}$

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

Por lo tanto, es una estimación imparcial de . Esta observación motiva el siguiente algoritmo para estimar . ${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$ ${\displaystyle V^{\pi }(s)}$ ${\displaystyle V^{\pi }}$

El algoritmo comienza inicializando una tabla de forma arbitraria, con un valor para cada estado del MDP. Se elige una tasa de aprendizaje positiva. ${\displaystyle V(s)}$ ${\displaystyle \alpha }$

Luego evaluamos repetidamente la política , obtenemos una recompensa y actualizamos la función de valor para el estado actual utilizando la regla: ^[10] ${\displaystyle \pi }$ ${\displaystyle r}$

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{learning rate}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{The TD target}}]}$

donde y son los estados actual y siguiente, respectivamente. El valor se conoce como el objetivo TD y se conoce como el error TD. ${\displaystyle S_{t}}$ ${\displaystyle S_{t+1}}$ ${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$ ${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$

TD-Lambda

TD-Lambda es un algoritmo de aprendizaje inventado por Richard S. Sutton basado en trabajos anteriores sobre aprendizaje de diferencias temporales de Arthur Samuel . ^[11] Este algoritmo fue aplicado por Gerald Tesauro para crear TD-Gammon , un programa que aprendió a jugar al backgammon al nivel de jugadores humanos expertos. ^[12]

El parámetro lambda ( ) se refiere al parámetro de decaimiento de trazas, con . Los valores más altos conducen a trazas más duraderas; es decir, se puede otorgar una mayor proporción del crédito de una recompensa a estados y acciones más distantes cuando es más alto, lo que produce un aprendizaje paralelo a los algoritmos RL de Monte Carlo. ^[13] ${\displaystyle \lambda }$ ${\displaystyle 0\leqslant \lambda \leqslant 1}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda =1}$

En neurociencia

El algoritmo TD también ha recibido atención en el campo de la neurociencia . Los investigadores descubrieron que la tasa de activación de las neuronas dopaminérgicas en el área tegmental ventral (VTA) y la sustancia negra (SNc) parecen imitar la función de error en el algoritmo. ^{[3] [4] [5] [6] [7]} La ​​función de error informa la diferencia entre la recompensa estimada en cualquier estado o paso de tiempo dado y la recompensa real recibida. Cuanto mayor sea la función de error, mayor será la diferencia entre la recompensa esperada y la real. Cuando esto se combina con un estímulo que refleja con precisión una recompensa futura, el error se puede utilizar para asociar el estímulo con la recompensa futura .

Las células dopaminérgicas parecen comportarse de manera similar. En un experimento, se realizaron mediciones de las células dopaminérgicas mientras se entrenaba a un mono para que asociara un estímulo con la recompensa de jugo. ^[14] Inicialmente, las células dopaminérgicas aumentaron las tasas de activación cuando el mono recibió jugo, lo que indica una diferencia entre las recompensas esperadas y las reales. Con el tiempo, este aumento en la activación se propagó hacia atrás hasta el estímulo confiable más temprano para la recompensa. Una vez que el mono estuvo completamente entrenado, no hubo ningún aumento en la tasa de activación al presentar la recompensa prevista. Posteriormente, la tasa de activación de las células dopaminérgicas disminuyó por debajo de la activación normal cuando no se produjo la recompensa esperada. Esto imita de cerca cómo se utiliza la función de error en TD para el aprendizaje de refuerzo .

La relación entre el modelo y la función neurológica potencial ha producido investigaciones que intentan utilizar la TD para explicar muchos aspectos de la investigación conductual. ^{[15] [16]} También se ha utilizado para estudiar afecciones como la esquizofrenia o las consecuencias de las manipulaciones farmacológicas de la dopamina en el aprendizaje. ^[17]

Véase también

• PVLV
• Aprendizaje Q
• Modelo de Rescorla-Wagner
• Estado-acción-recompensa-estado-acción (SARSA)

Notas

1. Sutton y Barto (2018), pág. 133.
2. Sutton, Richard S. (1 de agosto de 1988). "Aprender a predecir mediante los métodos de diferencias temporales". Aprendizaje automático . 3 (1): 9–44. doi : 10.1007/BF00115009 . ISSN  1573-0565. S2CID  207771194.
3. Schultz, W, Dayan, P y Montague, PR. (1997). "Un sustrato neuronal de predicción y recompensa". Science . 275 (5306): 1593–1599. CiteSeerX 10.1.1.133.6176 . doi :10.1126/science.275.5306.1593. PMID  9054347. S2CID  220093382. {{cite journal}}: CS1 maint: multiple names: authors list (link)
4. Montague, PR; Dayan, P.; Sejnowski, TJ (1996-03-01). "Un marco para los sistemas de dopamina mesencefálicos basado en el aprendizaje hebbiano predictivo" (PDF) . The Journal of Neuroscience . 16 (5): 1936–1947. doi :10.1523/JNEUROSCI.16-05-01936.1996. ISSN  0270-6474. PMC 6578666 . PMID  8774460. 
5. Montague, PR; Dayan, P.; Nowlan, SJ; Pouget, A.; Sejnowski, TJ (1993). "Uso de refuerzo aperiódico para la autoorganización dirigida" (PDF) . Avances en sistemas de procesamiento de información neuronal . 5 : 969–976.
6. Montague, PR; Sejnowski, TJ (1994). "El cerebro predictivo: coincidencia temporal y orden temporal en los mecanismos de aprendizaje sináptico". Aprendizaje y memoria . 1 (1): 1–33. doi : 10.1101/lm.1.1.1 . ISSN  1072-0502. PMID  10467583. S2CID  44560099.
7. Sejnowski, TJ; Dayan, P.; Montague, PR (1995). "Aprendizaje hebbiano predictivo". Actas de la octava conferencia anual sobre teoría del aprendizaje computacional - COLT '95 . págs. 15–18. doi : 10.1145/225298.225300 . ISBN 0897917235.S2CID1709691  .​
8. El parámetro de tasa de descuento permite una preferencia temporal hacia recompensas más inmediatas y lejos de recompensas futuras distantes.
9. Sutton y Barto (2018), pág. 134.
10. Sutton y Barto (2018), pág. 135.
11. Sutton y Barto (2018), pág. 130?.
12. Tesauro (1995).
13. Sutton y Barto (2018), pág. 175.
14. Schultz, W. (1998). "Señal de recompensa predictiva de las neuronas dopaminérgicas". Revista de neurofisiología . 80 (1): 1–27. CiteSeerX 10.1.1.408.5994 . doi :10.1152/jn.1998.80.1.1. PMID  9658025. S2CID  52857162. 
15. Dayan, P. (2001). "Aprendizaje de refuerzo motivado" (PDF) . Avances en sistemas de procesamiento de información neuronal . 14. MIT Press: 11–18.
16. Tobia, MJ, etc. (2016). "Respuesta conductual y neuronal alterada a ganancias contrafactuales en los ancianos". Neurociencia cognitiva, afectiva y conductual . 16 (3): 457–472. doi : 10.3758/s13415-016-0406-7 . PMID  26864879. S2CID  11299945.{{cite journal}}: CS1 maint: multiple names: authors list (link)
17. Smith, A., Li, M., Becker, S. y Kapur, S. (2006). "Dopamina, error de predicción y aprendizaje asociativo: una explicación basada en modelos". Red: Computación en sistemas neuronales . 17 (1): 61–84. doi :10.1080/09548980500361624. PMID  16613795. S2CID  991839.{{cite journal}}: CS1 maint: multiple names: authors list (link)

Obras citadas

• Sutton, Richard S.; Barto, Andrew G. (2018). Aprendizaje por refuerzo: una introducción (2.ª ed.). Cambridge, MA: MIT Press.
• Tesauro, Gerald (marzo de 1995). "Aprendizaje de diferencias temporales y TD-Gammon". Comunicaciones de la ACM . 38 (3): 58–68. doi : 10.1145/203330.203343 . S2CID  6023746.

Lectura adicional

• Meyn, SP (2007). Técnicas de control para redes complejas . Cambridge University Press. ISBN 978-0521884419.Véase el capítulo final y el apéndice.
• Sutton, RS; Barto, AG (1990). "Modelos derivados del tiempo del reforzamiento pavloviano" (PDF) . Aprendizaje y neurociencia computacional: Fundamentos de redes adaptativas : 497–537.

Enlaces externos

• Applet Connect Four TDGravity (+ versión para teléfono móvil): autoaprendizaje mediante el método TD-Leaf (combinación de TD-Lambda con búsqueda en árboles poco profundos)
• Ejemplo de aplicación web de autoaprendizaje Meta-Tic-Tac-Toe que muestra cómo se puede utilizar el aprendizaje de diferencias temporales para aprender constantes de evaluación de estado para una IA minimax que juega un juego de mesa simple.
• Problema de aprendizaje de refuerzo, documento que explica cómo se puede utilizar el aprendizaje de diferencias temporales para acelerar el aprendizaje Q
• TD-Simulator Simulador de diferencia temporal para condicionamiento clásico