Greedy Decoding ist die einfachste Strategie, mit der ein Sprachmodell Text erzeugt: Bei jedem Schritt wird das Token mit der höchsten Wahrscheinlichkeit gewählt. Das Verfahren ist deterministisch, schnell und leicht nachvollziehbar — es leidet jedoch unter lokalen Optima: Eine einzelne falsche Entscheidung kann nicht mehr korrigiert werden.
So funktioniert Greedy Decoding
Ein Sprachmodell gibt für jeden möglichen Folgetoken eine Wahrscheinlichkeitsverteilung aus. Greedy Decoding wählt bei jedem Schritt schlicht das Token mit der größten Wahrscheinlichkeit aus und hängt es an den bisherigen Text an. Da die Entscheidung tokenweise fällt, spricht man von einer autoregressiven Generierung — der gesamte weitere Verlauf hängt von jeder einzelnen Wahl ab.
Vorteile und Grenzen
- Determinismus: Gleicher Prompt liefert immer denselben Text — gut für Tests und Reproduzierbarkeit.
- Geschwindigkeit: Keine aufwendige Suche über alternative Pfade, nur eine Verteilungsabfrage pro Schritt.
- Nachteil Repetition: Greedy Decoding neigt zu Wiederholungsschleifen, da die wahrscheinlichsten Token oft die zuletzt erzeugten sind.
- Nachteil lokale Optima: Die Summe der jeweils besten Einzelentscheidungen ergibt nicht zwingend den besten Gesamttext — hier setzt das Beam-Search-Decoding an.
Wer die Ausgabe kontrollierbarer machen möchte, greift auf Sampling-Verfahren wie das Nucleus Sampling zurück oder kombiniert die Strategien mit Techniken wie Chain-of-Thought.
Verwandte Grundlagen: Greedy-Algorithmus, Large Language Model.