KTO (Kahneman-Tversky Optimization) ist ein 2024 vorgestelltes Verfahren zur Ausrichtung von KI-Modellen (Alignment), das im Gegensatz zu DPO oder RLHF keine paarweisen Präferenzvergleiche benötigt. Stattdessen genügt für jede Antwort ein einfaches binäres Signal: Ist sie erwünscht oder unerwünscht? Dadurch lässt sich KTO mit deutlich günstigeren Daten trainieren, etwa mit Daumen-hoch- und Daumen-runter-Bewertungen statt aufwendiger Ranglisten.
Die Idee: Verhaltensökonomie fürs KI-Training
KTO wurde von Kawin Ethayarajh und Kollegen von der Stanford University entwickelt (arXiv 2402.01306, Februar 2024). Der Name bezieht sich auf die Prospect Theory der Psychologen Daniel Kahneman und Amos Tversky, für die Kahneman 2002 den Wirtschaftsnobelpreis erhielt. Die Theorie besagt: Menschen bewerten Gewinne und Verluste nicht symmetrisch, sondern sind verlustavers – ein Verlust wiegt gefühlt schwerer als ein gleich großer Gewinn. KTO überträgt diese Asymmetrie auf das Modelltraining: Antworten, die schlechter als ein Referenzpunkt sind, werden stärker bestraft, als gute Antworten belohnt werden.
So funktioniert KTO
- Binäre Labels statt Paare: Für jede Modell-Antwort reicht die Information „gut“ oder „schlecht“. Es muss keine zweite, bessere Antwort zum Vergleich vorliegen.
- Referenzmodell: Wie bei DPO wird die Abweichung von einem festen Referenzmodell (typisch ein SFT-Modell) reguliert, damit das Training stabil bleibt.
- Verlustfunktion nach Prospect Theory: Die Optimierung nutzt eine Wertfunktion mit Verlustaversion. Die Autoren bezeichnen KTO als Human-Aware Loss Function (HALO), weil sie direkt den Nutzen der erzeugten Antworten maximiert, statt die Log-Likelihood von Präferenzpaaren.
Einordnung
KTO gehört zu den Direct-Alignment-Verfahren, die ohne die aufwendige PPO-RLHF-Pipeline auskommen (siehe auch Reward Hacking als Motiv). In Evaluierungen erreichte KTO mit binären Labels Ergebnisse in der Größenordnung von DPO, das auf vollständigen Präferenzpaaren trainiert – bei deutlich einfacherer Datenerhebung. Verwandte Grundlagen: ORPO, RLAIF, Reward Modeling, AI-Alignment, Maschinelles Lernen.