Nucleus Sampling — auch Top-p Sampling genannt — ist eine stochastische Decoding-Strategie für Sprachmodelle, die 2019 von Ari Holtzman und Kollegen in „The Curious Case of Neural Text Degeneration“ (arXiv:1904.09751) vorgeschlagen wurde. Statt immer das wahrscheinlichste Token zu wählen, zieht das Modell zufällig aus einem dynamischen Kern der Verteilung und erzeugt so vielfältigere, natürlichere Texte.
So funktioniert Nucleus Sampling
Der Parameter p (typisch 0,9) legt fest, wie viel Wahrscheinlichkeitsmasse berücksichtigt wird: Es werden die wahrscheinlichsten Tokens so lange aufsummiert, bis ihre kumulative Wahrscheinlichkeit den Schwellenwert p erreicht — diese Menge ist der „Nucleus“. Aus genau dieser Menge wird dann per Zufall gezogen. Im Gegensatz zu einem festen Top-k passt sich die Anzahl der Kandidaten damit dynamisch an die Form der Verteilung an: Bei einer spitzen Verteilung sind es wenige, bei einer flachen Verteilung mehr Tokens.
Warum Sampling besser gegen Degeneration hilft
- Gegen Wiederholungsschleifen: Die deterministischen Verfahren wie Greedy Decoding und Beam Search Decoding neigen zu repetitiven, sinnlosen Texten — Nucleus Sampling kappt den unzuverlässigen Verteilungsschwanz.
- Kreativität: Durch den Zufallsanteil entstehen abwechslungsreichere Formulierungen, ohne dass die Flüssigkeit leidet.
- Steuerbarkeit: Kleines p (etwa 0,5) erzeugt konservativere Texte, großes p (nahe 1) mehr Vielfalt — oft kombiniert mit der Temperatur als zweitem Stellrad.
Nucleus Sampling ist heute der Standard in vielen Chat- und Kreativmodellen. Es lässt sich mit wenigen Beispielen im Prompt kombinieren — etwa mit Few-Shot Prompting — und mit In-Context Learning verstehen.
Verwandte Grundlagen: Large Language Model, Self-Consistency, Prompting-Techniken.