Estos métodos toman muestras del entorno, como los métodos de Monte Carlo, y realizan actualizaciones basadas en las estimaciones actuales, como los métodos de programación dinámica.
Mientras que los métodos Monte Carlo sólo ajustan sus estimaciones una vez que se conoce el resultado final, los métodos TD ajustan las predicciones para que coincidan con predicciones posteriores más precisas sobre el futuro antes de que se conozca el resultado final.
En el caso normal, esperaría hasta el sábado y entonces ajustaría todos sus modelos.
Sin embargo, cuando es, por ejemplo, viernes, debería tener una idea bastante aproximada del tiempo que hará el sábado y, por lo tanto, podría cambiar, por ejemplo, el modelo del sábado antes de que llegue el sábado.
[2] Los métodos de diferencia temporal están relacionados con el modelo de diferencia temporal del aprendizaje animal.
Por comodidad, eliminamos la acción de la notación.
Esta observación motiva el siguiente algoritmo para estimar
Se escoge una tasa de aprendizaje positiva
A continuación, evaluamos repetidamente la política
y actualizar la función de valor para el estado actual utilizando la regla:[10] Donde:
son el estado actual y el siguiente, respectivamente.
se conoce como objetivo TD, y
se conoce como error TD.
TD-Lambda es un algoritmo de aprendizaje inventado por Richard S. Sutton basado en trabajos anteriores sobre el aprendizaje por diferencia temporal de Arthur Samuel.
[11] Este algoritmo fue famoso por ser aplicado por Gerald Tesauro para crear TD-Gammon, un programa que aprendía a jugar al backgammon al nivel de jugadores humanos expertos.
Los ajustes más altos conducen a rastros más duraderos; es decir, una mayor proporción del crédito de una recompensa puede otorgarse a estados y acciones más distantes cuando
produciendo aprendizaje paralelo a los algoritmos Monte Carlo RL.
[13] El algoritmo TD también ha recibido atención en el campo de la neurociencia.
Los investigadores descubrieron que la frecuencia de disparo de las neuronas dopaminérgicas del área tegmental ventral (ATV) y la sustancia negra (SNc) parecen imitar la función de error del algoritmo.
[3][4][5][6][7] La función de error informa de la diferencia entre la recompensa estimada en cualquier estado o paso temporal y la recompensa real recibida.
Cuanto mayor sea la función de error, mayor será la diferencia entre la recompensa esperada y la real.
Cuando esto se combina con un estímulo que refleja con precisión una recompensa futura, el error se puede utilizar para asociar el estímulo con la recompensa futura.
Las células dopaminérgicas parecen comportarse de forma similar.
En un experimento, se realizaron mediciones de las células dopaminérgicas mientras se entrenaba a un mono para asociar un estímulo con la recompensa de un zumo.
[14] Inicialmente, las células dopaminérgicas aumentaron su frecuencia de disparo cuando el mono recibía zumo, indicando una diferencia entre la recompensa esperada y la real.
Con el tiempo, este aumento de la frecuencia de disparo se propagó al estímulo más fiable para la recompensa.
Una vez que el mono estaba completamente entrenado, no se producía ningún aumento de la frecuencia de disparo cuando se presentaba la recompensa prevista.
Esto imita muy de cerca cómo se utiliza la función de error en la TD para el aprendizaje por refuerzo.
La relación entre el modelo y la posible función neurológica ha dado lugar a investigaciones que intentan utilizar la TD para explicar muchos aspectos de la investigación conductual.
[15][16]También se ha utilizado para estudiar afecciones como la esquizofrenia o las consecuencias de las manipulaciones farmacológicas de la dopamina en el aprendizaje.