Instruction Tuning (auch Anweisungs-Feintuning) ist eine Methode, ein vorab trainiertes Sprachmodell auf Anweisung-Antwort-Paaren nachzutrainieren, damit es natürlichen Instruktionen zuverlässig folgt. Ein Basismodell wie GPT-3 sagt nur das nächste Wort voraus; erst das Instruction Tuning macht daraus einen hilfreichen Assistenten, der Aufgaben wie „Fasse den Text zusammen“ oder „Schreibe eine E-Mail“ versteht und umsetzt.
Wie Instruction Tuning funktioniert
Der Fachbegriff stammt aus dem Paper „Finetuned Language Models Are Zero-Shot Learners“ (Wei et al., 2021), das den Ansatz FLAN (Finetuned Language Models) auf 62 Aufgaben einführte. Die Forscher formulierten bestehende Datensätze als Instruktionen — zum Beispiel „Übersetze den folgenden Satz ins Französische“ — und trainierten das Modell auf dieser Mischung. Danach beherrschte es auch unerwartete, neue Aufgaben im Zero-Shot-Modus deutlich besser. Die Skalierung führte später zu FLAN-PaLM mit 1.800 Aufgaben und zur Methode von InstructGPT, die auf 13.000 manuell verfassten Beispielen basierte.
Warum es so wichtig ist
- Es ist der erste Schritt fast jeder modernen Post-Training-Pipeline — auch RLHF und Constitutional AI setzen auf einem instruction-getunten Modell auf.
- Die Qualität und Vielfalt der Trainingsdaten entscheiden über das Ergebnis: Mehr Aufgaben und mehr Modellgröße verbessern die Generalisierung auf unbekannte Instruktionen.
- Es ist vergleichsweise ressourcenschonend und kann mit Verfahren wie PEFT oder LoRA effizient umgesetzt werden.
Verwandte Grundlagen: AI-Alignment, Constitutional AI, RLHF, Fine-Tuning, PEFT, Supervised Learning, Maschinelles Lernen.