Least-to-Most Prompting ist eine Prompting-Technik, die große Sprachmodelle befähigt, komplexe Aufgaben zu lösen, indem sie sie in einfachere Teilprobleme zerlegen und diese nacheinander bearbeiten. Eingeführt wurde sie 2022 von Denny Zhou und Kollegen bei Google Research (arXiv 2205.10625).
Zwei Phasen: Zerlegen und Lösen
- Dekomposition: Das Modell zerlegt die komplexe Frage per Prompt in eine geordnete Liste einfacherer Teilfragen. Beispiele im Prompt zeigen, wie die Zerlegung aussieht.
- Sequenzielle Lösung: Die Teilprobleme werden einzeln beantwortet — vom einfachsten zum schwierigsten. Die Antwort auf ein Teilproblem fließt in den Kontext des nächsten ein.
Damit löst Least-to-Most auch Aufgaben, die schwerer sind als alle Beispiele im Prompt. Die Experimente zeigten Verbesserungen bei symbolischer Manipulation, kompositionaler Generalisierung und mathematischem Reasoning gegenüber reinem Chain-of-Thought-Prompting.
Beispiel
Frage: „Wenn 5 Maschinen in 5 Minuten 5 Teile produzieren, wie lange brauchen 100 Maschinen für 100 Teile?“ — Statt einer Antwort zerlegt das Modell: (1) Wie viele Teile pro Maschine und Minute? (2) Wie skaliert die Zeit mit der Maschinenzahl? (3) Ergebnis berechnen.
Einordnung
Least-to-Most ist eine Erweiterung des Few-Shot-Prompting-Gedankens und verwandt mit Tree of Thoughts, das alternative Lösungszweige statt einer festen Reihenfolge durchsucht. Zusammen mit Chain-of-Verification deckt es die Zerlegungs- und die Prüfungsseite komplexen Denkens in LLMs ab.
Verwandte Grundlagen: Prompting-Techniken, Prompt, Prompt-Engineering-Muster. Zum Vergleich: Reflexion lernt aus Fehlern, Chain-of-Verification prüft Ergebnisse.