Temporal-Difference-Learning (TD-Learning) ist die zentrale Lernidee des Reinforcement Learning: Der Agent verbessert seine Wertschätzung nach jedem Schritt, nicht erst am Ende einer Episode. Richard Sutton formalisierte das Verfahren 1988.
Bootstrapping: Schätzung aus Schätzung
Die einfachste Variante TD(0) aktualisiert den Wert eines Zustands direkt nach dem nächsten Übergang:
V(s) <- V(s) + alpha * (r + gamma * V(s') - V(s))Der Klammerausdruck heißt TD-Fehler: die Differenz zwischen der beobachteten Belohnung plus dem geschätzten Folgewert und der bisherigen Schätzung. Weil V(s') selbst nur eine Schätzung ist, spricht man von Bootstrapping — der Agent lernt aus seinen eigenen Annahmen.
Abgrenzung zu Monte-Carlo und die TD-Lambda-Familie
Monte-Carlo-Methoden warten, bis eine Episode endet, und nutzen den echten Gesamtertrag — unverzerrt, aber mit hoher Varianz und nur am Episodenende. TD-Lernen aktualisiert in jedem Schritt, hat geringere Varianz und funktioniert auch bei endlosen Aufgaben. Mit TD(lambda) und n-step-Rückblicken lässt sich der Kompromiss zwischen beidem fein justieren.
TD-Lernen ist das Herz von Q-Learning und SARSA: Beide sind TD-Control-Verfahren, die statt Zustandswerten Aktionswerte lernen. In der Neurobiologie gilt der TD-Fehler als Modell für phasische Dopamin-Signale — der Agent „lernt" buchstäblich aus Vorhersagefehlern.
Verwandte Grundlagen: Reinforcement Learning, Q-Learning, Policy-Gradient-Methoden, Maschinelles Lernen, Backpropagation.