Distillation (deutsch: Destillation, im KI-Kontext auch Knowledge Distillation) ist ein Verfahren, bei dem ein großes, leistungsfähiges Lehrer-Modell (Teacher) sein Wissen an ein kleineres Schüler-Modell (Student) weitergibt. Das Ziel: ein kompaktes Modell, das fast so gut antwortet wie das große, aber deutlich weniger Rechenleistung und Speicher braucht.
Wie funktioniert Distillation?
Statt nur das harte Ergebnis (z.B. die richtige Klasse) zu übernehmen, lernt das Schüler-Modell aus den weichen Wahrscheinlichkeiten des Lehrers — Hinton nannte diesen Informationsgehalt 2015 Dark Knowledge. Werden z.B. Hunde- und Katzenbilder klassifiziert, verrät die Wahrscheinlichkeitsverteilung des Lehrers, dass ein Bild „eher wie ein Hund als wie ein Wolf“ aussieht. Genau diese feinen Abstufungen überträgt die Distillation.
Distillation bei großen Sprachmodellen
Bei LLMs bedeutet Distillation meist: Das Schüler-Modell wird mit Antworten des Lehrers trainiert, statt mit Originaldaten. Ein prominentes Beispiel ist die Distill-Variante von Llama-3.1-405B auf 8B-Parametergröße, die einen Großteil der Fähigkeiten behält. So lässt sich ein leistungsfähiges Modell auch auf Endgeräten betreiben.
Abgrenzung
Distillation überträgt Verhalten, nicht Gewichte. Das Schüler-Modell lernt aus den Ausgaben des Lehrers, nicht aus dessen Parametern. Die Trainingsdaten für diesen Prozess sind oft synthetic data, die der Lehrer erzeugt hat. Auch die Self-Verification spielt eine Rolle: Antworten des Lehrers, die dessen eigene Prüfung bestehen, sind wertvollere Trainingsbeispiele für den Schüler.
Verwandte Grundlagen: Transfer Learning, Fine-Tuning, Self-Verification.