PPO (Proximal Policy Optimization) ist ein 2017 von OpenAI entwickelter Reinforcement-Learning-Algorithmus (Schulman et al., arXiv 1707.06347), der als Standard für das Training moderner KI-Agenten gilt – insbesondere für die dritte Stufe von RLHF bei Sprachmodellen wie ChatGPT und Claude.
Die Idee: Große Updates vermeiden
PPO gehört zur Familie der Policy-Gradient-Methoden und ist on-policy: Es lernt aus Daten, die mit der aktuell trainierten Politik (Policy) gesammelt wurden. Klassische Policy-Gradient-Verfahren führen pro Datensample nur einen einzelnen Gradientenschritt aus, weil zu große Updates die Politik zerstören können. PPO erlaubt mehrere Epochen von Minibatch-Updates pro Datenbatch, indem es die Änderung begrenzt: Über eine geclippte Zielfunktion wird das Verhältnis der Wahrscheinlichkeiten zwischen neuer und alter Politik auf eine kleine Spanne (typisch 0,8 bis 1,2) begrenzt. Überschreitet ein Update diese Grenze, wird sein Gradient auf null gesetzt – die Politik kann also nicht zu weit abweichen.
Warum PPO so erfolgreich ist
- Stabilität: Das Clipping wirkt wie eine weiche Trust Region – ähnlich dem älteren, aber deutlich aufwendigeren TRPO, jedoch einfacher zu implementieren.
- Sample-Effizienz: Mehrere Update-Epochen pro Datenbatch nutzen gesammelte Erfahrungen besser aus.
- Breite Anwendbarkeit: PPO funktioniert für diskrete und kontinuierliche Aktionsräume, von Robotik über Spiele (OpenAI Five in Dota 2) bis zur Sprachmodell-Optimierung.
PPO in RLHF
In der RLHF-Pipeline optimiert PPO das Sprachmodell (die Politik) so, dass es hohe Bewertungen vom Reward-Modell erhält – abzüglich einer KL-Strafe, die verhindert, dass sich das Modell zu weit von der SFT-Ausgangspolitik entfernt. Genau diese KL-Regularisierung begrenzt auch Reward Hacking. Verwandte Grundlagen: Reinforcement Learning, AI-Alignment, DPO.