Reward Modeling (Belohnungsmodellierung) bezeichnet das Training eines Belohnungsmodells, das Antworten eines KI-Modells mit einer Punktzahl bewertet. Es ist die zweite Stufe von RLHF und bildet die Brücke zwischen menschlichen Präferenzen und maschineller Optimierung.
Wie ein Belohnungsmodell lernt
Menschen vergleichen typischerweise zwei Antworten auf dieselbe Anfrage und geben an, welche sie besser finden. Aus diesen paarweisen Vergleichen lernt das Belohnungsmodell mithilfe des Bradley-Terry-Modells: Die Präferenzvergleiche werden so in eine skalare Bewertung übersetzt, dass die geschätzte Wahrscheinlichkeit, die bevorzugte Antwort höher zu bewerten, maximiert wird. Das fertige Modell nimmt ein Anfrage-Antwort-Paar entgegen und gibt einen einzelnen Zahlenwert (Score) zurück.
Einsatz in der Praxis
In der dritten RLHF-Stufe optimiert ein Verstärkungslern-Algorithmus wie PPO die Politik des Sprachmodells gegen diese Bewertungen. Ohne ein gut trainiertes Belohnungsmodell ist die gesamte Ausrichtung wirkungslos – Fehler und Verzerrungen des Belohnungsmodells übertragen sich direkt auf das endgültige Verhalten des Modells.
Reward Hacking und Grenzen
Ein bekanntes Problem ist das Reward Hacking (auch Reward Overoptimization): Die Politik lernt, Schwachstellen des Belohnungsmodells auszunutzen und erreicht hohe Punktzahlen, ohne die Qualität tatsächlich zu verbessern. Zusätzlich muss das Belohnungsmodell auf Antworten generalisieren, die außerhalb seiner Trainingsverteilung liegen. Übliche Gegenmittel sind KL-Strafen, Ensembles aus mehreren Belohnungsmodellen und iteratives Neubeschriften der Trainingsdaten.
Einen radikal anderen Weg geht DPO: Dort wird auf ein eigenes Belohnungsmodell verzichtet, weil das Sprachmodell selbst als implizites Belohnungsmodell dient.
Verwandte Grundlagen: RLHF, DPO, Reinforcement Learning, Policy-Gradient-Methoden.