TD3 (Twin Delayed Deep Deterministic Policy Gradient) ist ein Off-Policy-Actor-Critic-Verfahren für kontinuierliche Aktionsräume und die direkte Verbesserung von DDPG. Es wurde 2018 von Scott Fujimoto, Herke van Hoof und David Meger vorgestellt („Addressing Function Approximation Error in Actor-Critic Methods", ICML 2018, arXiv:1802.09477) und adressiert die bekannte Überschätzungs-Tendenz (Overestimation Bias) von Q-Netzwerken.
Die drei Tricks
- Clipped Double-Q-Learning: Zwei Q-Netzwerke werden trainiert, das Minimum beider Schätzungen dient als Zielwert. Das kappt den systematischen Optimismus einzelner Netze.
- Target Policy Smoothing: Auf die Ziel-Aktion wird Rauschen addiert und geclippt. Dadurch lernt der Critic keine unrealistisch spitzen Q-Spitzen um einzelne Aktionen.
- Delayed Policy Updates: Die Policy wird seltener aktualisiert als die Q-Funktion (typisch im Verhältnis 2:1), damit der Actor nicht gegen ein noch verrauschtes Q-Netz trainiert.
Damit gehört TD3 zu den stabilsten deterministischen Verfahren für kontinuierliche Steuerung in Benchmarks wie MuJoCo oder PyBullet und erreicht oft deutlich höhere Belohnungen als DDPG bei gleichem Aufwand. Als deterministische Policy benötigt es Exploration über Aktionsrauschen — die kontinuierliche Variante wird im Aktionsraum-Artikel beschrieben.
Einordnung
TD3 ist ein Actor-Critic-Verfahren und damit ein Spezialfall des Reinforcement Learning. Die stochastische Alternative mit Maximum-Entropy-Ziel ist SAC, das in vielen Aufgaben ähnlich gut oder besser abschneidet; PPO ist der wichtigste On-Policy-Vertreter für dieselben Aufgaben.
Verwandte Grundlagen: DDPG, SAC, Deep-Q-Learning.