Chain of Symbol (CoS) ist eine Prompting-Technik, die komplexe Umgebungen beim Denken eines Sprachmodells als kompakte Symbole darstellt. Statt langer Beschreibungen in natürlicher Sprache verwendet CoS kurze, abstrakte Repräsentationen für Objekte und ihre Beziehungen.
So funktioniert es
Die Methode wurde 2023 vorgeschlagen (arXiv 2305.10276, erschienen auf der COLM 2024). Beim klassischen Chain-of-Thought-Prompting formuliert das Modell jeden Zwischenschritt in Worten. CoS ersetzt diese Schritte durch kondensierte Symbole — etwa Platzhalter wie C1, C2 für Positionen in einem Raum oder einer Umgebung. Das Modell denkt damit in einer Art Kurznotation über die Aufgabe nach.
Vorteile
- Deutlich weniger Tokens pro Zwischenschritt, dadurch geringere Kosten.
- Bessere Ergebnisse bei räumlichen und planerischen Aufgaben: Beim Brick-World-Task stieg die Genauigkeit von GPT-3.5-Turbo von 31,8 % auf 92,6 %.
- Keine zusätzliche Modell-Anpassung nötig, nur eine andere Darstellung im Prompt.
CoS ist die symbolische Schwester der Chain-of-Density-Verdichtung. Wo CoD Text dichter macht, macht CoS die Darstellung symbolisch; wo Graph of Thoughts Gedanken als Netz organisiert, bleibt CoS eine lineare Symbol-Kette.
Verwandte Grundlagen: Scratchpad.