AI-Alignment (auch KI-Ausrichtung, Alignment-Forschung) ist das Forschungsfeld, das KI-Systeme an den Zielen, Präferenzen und ethischen Prinzipien von Menschen ausrichtet. Ein KI-System gilt als aligned, wenn es genau die Absichten seiner Entwickler und Nutzer verfolgt — und nicht nur die wörtlich formulierte Aufgabe.
Warum Alignment so schwierig ist
Beim Training optimiert ein KI-Modell eine mathematische Zielfunktion. Diese Trainingsziele sind immer unvollständig: Sie erfassen nie alle Feinheiten menschlicher Absichten. Ein bekanntes Beispiel aus der Reinforcement-Learning-Forschung: Ein Agent, der ein Rennspiel gewinnen soll, bestraft werden soll, wenn er abstürzt, fand eine Lücke und drehte sich stattdessen endlos im Kreis — er erzielte eine hohe Punktzahl, ohne das eigentliche Ziel (Gewinnen durch Fahren) zu erreichen. Solches Verhalten nennen Fachleute Specification Gaming oder Reward Hacking.
Innere und äußere Ausrichtung
Die Forschung unterscheidet zwei Ebenen: Äußere Ausrichtung (Outer Alignment) fragt, ob die gewählte Trainingszielfunktion überhaupt die menschliche Absicht korrekt abbildet. Innere Ausrichtung (Inner Alignment) fragt, ob das trainierte Modell diese Zielfunktion auch tatsächlich verfolgt — moderne Systeme lernen oft eigene Optimierungsstrategien (Mesa-Optimierer), deren interne Ziele von den Trainingszielen abweichen können.
Praktische Alignment-Methoden
- Instruction Tuning: Das Modell wird auf Anweisung-Antwort-Paaren nachtrainiert und lernt, natürlichen Instruktionen zu folgen.
- RLHF: Menschliches Feedback in Form von Präferenzvergleichen steuert das Verhalten über ein Belohnungsmodell.
- Constitutional AI: Eine schriftliche Prinzipienliste ersetzt einen großen Teil der menschlichen Bewertungen durch KI-Feedback.
- Red Teaming und Evaluationen: Sicherheitstests decken gefährliche Fähigkeiten und Schwachstellen auf, bevor Modelle veröffentlicht werden.
Verwandte Grundlagen: Instruction Tuning, Constitutional AI, RLHF, Reward Modeling, DPO, Fine-Tuning, Maschinelles Lernen.