Scratchpad (Notizzettel) ist eine Technik, Sprachmodellen bei Rechen- und Symbolaufgaben sichtbare Zwischenschritte erzeugen zu lassen, bevor die Endantwort kommt. Das Modell „schreibt auf“, wie es Schritt für Schritt vorgeht – ähnlich einem Menschen, der Nebenrechnungen auf einen Zettel kritzelt.
Warum Zwischenschritte helfen
Transformer-Modelle lösen mehrstellige Arithmetik oder symbolische Umformungen oft nicht zuverlässig in einem Durchgang. Die Scratchpad-Methode verlagert die Rechnung in die Token-Erzeugung: Jeder Zwischenschritt wird Teil des generierten Textes, das Modell kann seine eigenen Notizen weiterverarbeiten.
Forschungshintergrund
- Vorgeschlagen 2021 von Maxwell Nye und Kollegen (arXiv 2112.00114, „Show your work: Scratchpads for intermediate computation with language models“).
- Erhebliche Genauigkeitsgewinne bei mehrstelliger Addition, Multiplikation und symbolischer Induktion.
- Grundlage späterer Reasoning-Techniken wie Chain-of-Thought und PAL (Program-aided Language Models).
- Kann mit Positionsmarkern kombiniert werden, um Lokalisierungsprobleme großer Rechnungen zu mildern.
Abgrenzung
Scratchpad ist historisch die früheste Form sichtbarer Zwischenschritte; Chain-of-Thought macht daraus eine Prompting-Technik, CoD eine sparsame Variante. Der Unterschied liegt vor allem in Anweisung und Umfang der Notizen.
Verwandte Grundlagen: Chain-of-Thought, Chain of Draft, Self-Refine, ReAct, Maschinelles Lernen, Transformer.