ORPO (Odds Ratio Preference Optimization) ist ein 2024 vorgestelltes Verfahren, das die Ausrichtung von Sprachmodellen an menschlichen Präferenzen radikal vereinfacht: Es verbindet Supervised Fine-Tuning (SFT) und Präferenzoptimierung in einem einzigen Trainingsschritt – und kommt dabei ohne separates Referenzmodell aus.
Die Idee: Monolithisches Alignment
ORPO wurde von Jiwoo Hong und Kollegen entwickelt (arXiv 2403.07691, März 2024). Klassische Pipelines trennen die Phasen: Erst wird ein Modell per SFT auf Demonstrationen trainiert, dann folgt ein eigener Alignment-Schritt wie DPO oder RLHF mit PPO, der ein Referenzmodell benötigt. ORPO dagegen integriert die Präferenzlenkung direkt in den SFT-Loss – die Autoren nennen das monolithische Präferenzoptimierung.
So funktioniert ORPO
- Odds-Ratio-Term: Der Verlust belohnt die Wahrscheinlichkeit der bevorzugten Antwort und bestraft zugleich die abgelehnte Antwort. Das Verhältnis der Chancen (Odds) der beiden Antworten steuert die Stärke der Lenkung.
- Kein Referenzmodell: Anders als DPO und KTO braucht ORPO kein eingefrorenes Referenzmodell, von dem die Abweichung gemessen wird. Das spart Speicher und Rechenaufwand.
- Eine Phase statt drei: SFT-Wissen und Präferenzausrichtung entstehen gemeinsam, sodass der separate Alignment-Durchlauf entfällt.
Ergebnisse und Einordnung
Das veröffentlichte Mistral-ORPO-Modell (auf Basis von Mistral-7B) übertraf in Evaluierungen wie AlpacaEval und IFEval teils deutlich größere Modelle. ORPO gehört wie KTO zu den Direct-Alignment-Verfahren, die aufwendiges RL umgehen (zum Thema Ausbeutung von Belohnungen siehe Reward Hacking). Die Grenze des Ansatzes: Weil die Präferenzlenkung während des SFT stattfindet, ist der Umfang des zusätzlich verfügbaren Präferenzwissens begrenzt. Verwandte Grundlagen: KTO, RLAIF, Reward Modeling, Instruction Tuning, Large Language Model.