DPO (Direct Preference Optimization, zu Deutsch: direkte Präferenzoptimierung) ist ein 2023 von Rafailov und Kollegen an der Stanford University vorgestelltes Verfahren, um Sprachmodelle direkt aus menschlichen Präferenzdaten zu optimieren. Der Titel der Veröffentlichung bringt die Kernidee auf den Punkt: „Your Language Model is Secretly a Reward Model" – das Sprachmodell selbst ist heimlich ein Belohnungsmodell.
Die Idee hinter DPO
Klassisches RLHF trainiert erst ein separates Belohnungsmodell und optimiert dann die Politik mit einem Verstärkungslern-Algorithmus wie PPO. DPO zeigt, dass dieser Umweg mathematisch nicht nötig ist: Aus der RLHF-Zielfunktion lässt sich eine implizite Belohnungsfunktion ableiten, die direkt von der Politik abhängt.
Formal ergibt sich die implizite Belohnung aus dem Verhältnis der Politik zur Referenzpolitik:
r(x, y) = Beta * log( pi_theta(y|x) / pi_ref(y|x) )Dabei ist pi_ref die Referenzpolitik (üblicherweise das zuvor per Supervised Fine-Tuning angepasste Modell) und Beta ein Temperaturparameter. Weil die Belohnung in der Politik selbst steckt, genügt eine einzige Maximum-Likelihood-Zielfunktion auf den Präferenzdaten – ganz ohne separates Belohnungsmodell, ohne Stichprobensampling während des Trainings und ohne PPO-Schleife.
Vorteile und Ergebnisse
DPO ist stabil, rechenleicht und benötigt kaum Hyperparameter-Abstimmung. In den Experimenten der Autoren erreichte es auf Benchmarks für Stimmungskontrolle, Zusammenfassung und Dialog mindestens das Niveau von PPO-basiertem RLHF – bei einem Bruchteil des technischen Aufwands.
Grenzen
DPO beseitigt das Belohnungsmodell, nicht aber die Abhängigkeit von der Qualität der Präferenzdaten. Verzerrte oder widersprüchliche menschliche Bewertungen wirken sich weiterhin direkt auf das trainierte Modell aus. Zudem bleibt das Reward-Hacking-Risiko in abgewandelter Form bestehen, weil die implizite Belohnung dieselbe Bradley-Terry-Annahme nutzt.
Verwandte Grundlagen: RLHF, Reward Modeling, Reinforcement Learning, Fine-Tuning, PEFT.