PEFT (Parameter-Efficient Fine-Tuning, deutsch: parameter-effizientes Feintuning) ist ein Sammelbegriff für Verfahren, die ein vortrainiertes KI-Modell an eine Aufgabe anpassen, indem sie nur einen sehr kleinen Teil der Parameter trainieren. Statt alle Milliarden Gewichte zu verändern, lernen PEFT-Methoden wenige Zusatzparameter — das senkt Speicherbedarf, Rechenzeit und Kosten drastisch.
Die wichtigsten PEFT-Familien
- Reparametrisierung: Niedrigrangige Zusatzmatrizen, die in die Gewichte eingeklappt werden können — bekanntestes Beispiel ist LoRA. Keine Zusatzlatenz beim Inferieren.
- Additive Methoden: Zusätzliche trainierbare Komponenten wie Adapter-Module zwischen Schichten oder erlernte Soft Prompts — etwa Prompt Tuning und Prefix Tuning.
- Selektive Methoden: Nur ausgewählte bestehende Parameter (etwa einzelne Schichten) werden trainiert.
- Hybride / quantisierte Varianten: QLoRA kombiniert LoRA mit 4-Bit-Quantisierung der Basisgewichte.
Warum PEFT?
Das vollständige Feintuning eines großen Sprachmodells erfordert, alle Gewichte samt Gradienten und Optimierzuständen im Speicher zu halten. PEFT reduziert den Speicherbedarf auf einen Bruchteil, sodass auch auf einer einzelnen GPU trainiert werden kann. Ein weiterer Vorteil: Weil das Basis-Modell unverändert bleibt, lassen sich viele spezialisierte Adapter für verschiedene Aufgaben an einem Modell betreiben — jeder Adapter ist nur wenige Megabyte groß.
Wann PEFT statt Voll-Feintuning?
PEFT lohnt sich fast immer, wenn ein großes vortrainiertes Modell an eine neue Aufgabe oder Domäne angepasst werden soll — siehe Fine-Tuning. Die Qualität liegt nach Studien oft nahe am vollständigen Feintuning, besonders bei Transfer Learning mit begrenzten Daten. Ein Voll-Feintuning kann nur dann sinnvoll sein, wenn genug Rechenressourcen und sehr viel Daten vorhanden sind.
PEFT als Werkzeug
Die bekannte Open-Source-Bibliothek Hugging Face PEFT stellt LoRA, QLoRA, Adapter und weitere Methoden mit wenigen Zeilen Code bereit. PEFT-Verfahren sind damit ein Standardwerkzeug im Training-Workflow moderner KI-Anwendungen.
Verwandte Grundlagen: Transfer Learning, Overfitting, KI-Modell, Maschinelles Lernen.