Self-Refine ist ein Verfahren, mit dem ein großes Sprachmodell seine eigene Ausgabe in mehreren Runden verbessert: Es erzeugt eine erste Antwort, bewertet sie selbst, gibt sich Feedback und überarbeitet das Ergebnis – ohne zusätzliches Training oder weitere Modelle.
Der Kreislauf
Self-Refine nutzt ein einziges LLM in drei Rollen: als Generator der Erstantwort, als Feedback-Geber und als Verfeinerer. Der Ablauf wiederholt sich, bis ein Stoppkriterium erreicht ist – etwa eine feste Rundenzahl oder ein Qualitätswert aus dem Feedback.
1. Generator: erste Ausgabe erzeugen
2. Feedback: eigene Ausgabe kritisch bewerten
3. Refiner: Ausgabe anhand des Feedbacks überarbeiten
4. Wiederholen bis StoppkriteriumErgebnisse
- Vorgeschlagen 2023 von Aman Madaan und Kollegen (arXiv 2303.17651).
- Kein überwachtes Trainingsmaterial, kein Reinforcement Learning nötig.
- Verbessert nachweislich auch starke Modelle wie GPT-4 bei Aufgaben wie Sentiment-Umkehrung, Mathe-Reasoning und Code-Optimierung.
- Kostet zur Laufzeit mehrere Inferenz-Durchläufe – Qualität gegen Rechenzeit.
Abgrenzung
Anders als Chain-of-Thought, das die Denkschritte in einer Antwortkette sichtbar macht, organisiert Self-Refine einen Rückkopplungskreislauf aus Entwurf, Kritik und Überarbeitung. Beide Techniken lassen sich kombinieren.
Verwandte Grundlagen: Chain of Draft, Scratchpad, Chain-of-Thought, Self-Consistency, ReAct, Maschinelles Lernen.