Chain of Density (CoD) ist eine Prompting-Technik zur Zusammenfassung, bei der ein Sprachmodell eine Zusammenfassung in mehreren Schritten immer dichter formuliert. Statt eines einzigen Versuchs entsteht eine Kette aus Verdichtungs-Iterationen, in denen der Text informativer wird, ohne an Länge zuzulegen.
So funktioniert es
Die Methode stammt aus der Studie „From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting" von Adams und Kollegen (MIT und Salesforce, 2023, arXiv 2309.04269). Ein LLM erstellt zunächst eine kurze, grobe Zusammenfassung. In jeder weiteren Runde kommen ein bis drei neue Details oder Entitäten hinzu; bestehende Formulierungen werden dafür komprimiert oder zusammengeführt. Nach fünf Iterationen entsteht eine sehr informationsdichte Zusammenfassung mit vielen überlappenden Entitäten.
Ergebnisse und Grenzen
- Dichtere Zusammenfassungen enthalten deutlich mehr Schlüsselentitäten und Fakten.
- Menschen bewerten sehr dichte Versionen als informativer, aber weniger flüssig lesbar.
- Die Technik übertrifft in Studien oft menschlich erstellte Zusammenfassungen an Informationsgehalt.
Chain of Density ist eine Variante des Chain-of-Thought-Promptings: Auch hier entsteht eine Kette von Denkschritten, nur eben für Verdichtung statt für Schlussfolgerungen. Anders als das Chain-of-Symbol-Prompting arbeitet CoD mit natürlicher Sprache; anders als Graph of Thoughts bleibt die Struktur eine lineare Kette.
Verwandte Grundlagen: Self-Consistency.