DDPG (Deep Deterministic Policy Gradient) ist ein Deep-Reinforcement-Learning-Verfahren für kontinuierliche Aktionsräume — etwa Drehmomente, Lenkwinkel oder Gelenkstellungen eines Roboters. Es wurde 2016 von Timothy Lillicrap und Kollegen bei DeepMind vorgestellt (Paper „Continuous Control with Deep Reinforcement Learning", ICLR 2016, arXiv:1509.02971) und gilt als einer der ersten Ansätze, der hochdimensionale kontinuierliche Steuerungsaufgaben wie die MuJoCo-Lokomotionssuite zuverlässig lernt.
Kernidee
DDPG kombiniert zwei Ideen: den Policy-Gradient-Gedanken und die Lern-Tricks des Deep-Q-Learning. Statt einer zufallsbehafteten Policy lernt DDPG eine deterministische Policy, die jedem Zustand genau eine Aktion zuordnet. Ein Actor-Netzwerk parametrisiert diese Policy, ein Critic-Netzwerk schätzt den Q-Wert.
- Actor: wählt die Aktion und wird über den Gradienten der Q-Funktion trainiert (deterministic policy gradient nach David Silver et al., 2014).
- Critic: lernt den Q-Wert per Bellman-Gleichung mit Erfahrungs-Wiederholung (Replay Buffer) und langsam nachgeführten Target-Netzwerken — beides aus dem DQN-Repertoire.
- Exploration: da die Policy deterministisch ist, wird beim Training Rauschen auf die Aktion addiert (häufig ein Ornstein-Uhlenbeck-Prozess).
DDPG ist ein Off-Policy-Verfahren: Es lernt aus gespeicherten Übergängen beliebiger früherer Policies und ist dadurch sample-effizient. Der Aktionsraum kann mehrdimensional und kontinuierlich sein — genau die Situation, in der tabellenbasierte Verfahren wie Q-Learning versagen.
Schwächen
DDPG neigt zur Überschätzung von Q-Werten (Overestimation Bias) und reagiert empfindlich auf Hyperparameter. Die direkten Nachfolger TD3 (deterministisch) und SAC (stochastisch) beheben genau diese Probleme und gelten heute als robuster.
Verwandte Grundlagen: Reinforcement Learning, Actor-Critic, PPO.