Prompt Tuning ist eine Methode aus dem Bereich des Prompt-Engineering, bei der statt eines von Menschen formulierten Text-Prompts ein kontinuierlicher Soft Prompt direkt im Embedding-Raum des Modells gelernt wird. Die Gewichte des vortrainierten Modells bleiben dabei vollständig eingefroren.
Wie funktioniert Prompt Tuning?
Beim Prompt Tuning werden wenige lernbare Vektoren an die Eingabe-Embeddings des Modells angehängt. Diese Vektoren werden per Gradientenabstieg auf die Zielaufgabe trainiert und ersetzen die diskreten Token eines normalen Prompts. Der Artikel Maschinelles Lernen erklärt die Grundlagen, auf denen dieses Vorgehen aufbaut.
Ergebnisse
Vorgestellt wurde Prompt Tuning von Lester und Kollegen (Google) im Jahr 2021 (arXiv 2104.08691). Auf dem SuperGLUE-Benchmark erreichte ein prompt-getunter T5-XXL die Leistung eines vollständig feinabgestimmten Modells — mit rund 20.000-mal weniger aufgabenspezifischen Parametern (etwa 20 KB statt 11 GB pro Aufgabe). Je größer das Modell, desto besser funktioniert Prompt Tuning.
Abgrenzung
Anders als beim klassischen Prompting wird kein Text formuliert; anders als beim Fine-Tuning werden die Modellgewichte nicht verändert. Eine verwandte Methode ist Prefix Tuning, das zusätzlich Präfixe in jeder Transformer-Schicht lernt. Beide zählen zum Soft Prompting.
Verwandte Grundlagen: Soft Prompting, Prefix Tuning.