Beam Search Decoding (auch Beam Search) ist eine Decoding-Strategie für Sprachmodelle, die nicht nur einen, sondern mehrere Textpfade gleichzeitig verfolgt. Statt bei jedem Schritt nur das wahrscheinlichste Token zu wählen, behält das Verfahren die K vielversprechendsten Teilhypothesen — den sogenannten Beam — und sucht so näherungsweise den insgesamt wahrscheinlichsten Text.
So funktioniert Beam Search
Beim ersten Schritt werden für alle Token die Wahrscheinlichkeiten berechnet und die K besten als Startpunkte gewählt (typisch K = 4 bis 8). In jedem weiteren Schritt wird jede Hypothese um das wahrscheinlichste Folgetoken erweitert, und aus den entstandenen K × V Kandidaten (V = Vokabulargröße) überleben wieder die K mit der höchsten Gesamtwahrscheinlichkeit. Am Ende wird die Hypothese mit der besten Gesamtbewertung ausgegeben.
Stärken und Schwächen
- Globale Optimierung: Beam Search bewertet komplette Pfade statt einzelner Token und findet dadurch oft bessere Gesamttexte als das Greedy Decoding.
- Bewährt für strukturierte Aufgaben: Bei Übersetzung und Zusammenfassung erzielt Beam Search typischerweise bessere Qualitätswerte.
- Weniger Vielfalt: Für offene, kreative Generierung produzieren Beam-Such-Ergebnisse oft monotonere Texte — dort sind Sampling-Verfahren wie das Nucleus Sampling im Vorteil.
- Rechenaufwand: Die parallele Pfadverfolgung kostet mehr Rechenzeit als Greedy Decoding, bleibt aber deutlich günstiger als eine vollständige Suche.
Beam Search ist damit die klassische Wahl, wenn Genauigkeit wichtiger ist als Kreativität — etwa bei Übersetzung oder Fakten-Zusammenfassung eines Large Language Models.
Verwandte Grundlagen: Greedy-Algorithmus, Maschinelles Lernen.