Top-k-Sampling ist eine Decoding-Strategie für Sprachmodelle, die das Zufallssampling auf die k wahrscheinlichsten Tokens begrenzt. Alle Tokens mit niedrigerer Wahrscheinlichkeit werden auf null gesetzt, die verbleibenden k Kandidaten neu normiert und daraus gestichprobt.
So funktioniert Top-k
Nach der Berechnung der Wahrscheinlichkeitsverteilung über das gesamte Vokabular sortiert das Modell alle Tokens nach Wahrscheinlichkeit und behält nur die besten k. Die ausgeschlossenen Tokens erhalten die Wahrscheinlichkeit 0, die k verbleibenden werden so skaliert, dass ihre Summe wieder 1 ergibt. Aus diesen k Kandidaten wird dann zufällig gezogen.
Typische Werte sind k = 40, 50 oder 100; für allgemeine Aufgaben reichen oft k = 5 bis 10. Ein größeres k erlaubt mehr Vielfalt, ein kleineres k erzeugt vorhersehbareren Text.
Vorteile und Grenzen
Top-k behebt das Problem des unzuverlässigen Verteilungsendes („unreliability of the tail"): Seltene Tokens mit winziger Wahrscheinlichkeit würden beim reinen Sampling über alle Tokens zu häufig gezogen und erzeugen zusammenhanglosen Text. Die Begrenzung auf k Kandidaten entfernt dieses Rauschen.
Der Nachteil ist die statische Grenze: Ist das Modell sehr sicher (ein Token trägt 95 % Wahrscheinlichkeit), nimmt k = 40 trotzdem 39 nahezu unmögliche Kandidaten in die Auswahl auf. Die dynamische Alternative ist das Nucleus Sampling (Top-p), das die Kandidatenzahl an der kumulativen Wahrscheinlichkeit ausrichtet.
Verwandte Grundlagen: Temperatur (LLM), Repetition Penalty, Nucleus Sampling, Greedy Decoding.
Mehr zum Thema: Large Language Model, In-Context Learning, Few-Shot Prompting.