RLHF (Reinforcement Learning from Human Feedback, zu Deutsch: bestärkendes Lernen aus menschlichem Feedback) ist ein Verfahren, um große Sprachmodelle an menschlichen Erwartungen auszurichten. Ein Modell lernt dabei nicht nur, sprachlich korrekte Antworten zu erzeugen, sondern solche, die Menschen als hilfreich, ehrlich und harmlos bewerten.
Die Drei-Stufen-Pipeline
Bekannt wurde RLHF durch InstructGPT von OpenAI (2022), das die Methode auf Modelle mit 175 Milliarden Parametern anwendete. Der Ablauf besteht aus drei Stufen:
- Stufe 1 – Supervised Fine-Tuning: Das vortrainierte Modell wird zunächst auf ausgewählten Demonstrationen nachgebessert, damit es im gewünschten Frage-Antwort-Stil antwortet.
- Stufe 2 – Reward-Model-Training: Menschen vergleichen mehrere Modellantworten und ordnen sie nach Qualität. Aus diesen Präferenzvergleichen lernt ein Belohnungsmodell, Antworten mit einer Punktzahl zu bewerten.
- Stufe 3 – Policy-Optimierung: Ein Verstärkungslern-Algorithmus (meist PPO) justiert das Sprachmodell so, dass es hohe Bewertungen vom Belohnungsmodell erhält. Eine KL-Strafe hält die neue Politik in der Nähe der Referenzpolitik, damit das Modell sein Basiswissen nicht verdrängt.
Grenzen und Weiterentwicklung
Eine zentrale Schwäche von RLHF ist das Reward Hacking: Das Modell kann Ausgaben produzieren, die das Belohnungsmodell hoch bewertet, ohne wirklich besser zu sein. Gegenmaßnahmen sind eine sorgfältige Abstimmung der KL-Strafe, Audits des Belohnungsmodells und Ensembles mehrerer Belohnungsmodelle.
Weil die PPO-Optimierung aufwendig und instabil sein kann, entstanden vereinfachte Alternativen: DPO optimiert die Politik direkt aus Präferenzdaten und umgeht damit Belohnungsmodell und Verstärkungslernen vollständig. In modernen Post-Training-Stapeln (Stand Mitte der 2020er-Jahre) werden häufig Kombinationen aus Fine-Tuning, DPO und weiteren Verfahren eingesetzt.
Verwandte Grundlagen: Reinforcement Learning, Policy-Gradient-Methoden, DPO, Maschinelles Lernen.