Perplexity (deutsch: Ratlosigkeit) ist das wichtigste Maß für die Qualität eines Sprachmodells: Sie gibt an, wie überrascht das Modell von einem Text ist. Je niedriger die Perplexity, desto sicherer sagt das Modell das jeweils nächste Wort voraus — desto besser das Modell.
Was Perplexity bedeutet
Ein Sprachmodell ordnet jedem Wort eine Wahrscheinlichkeit zu. Perplexity ist die Exponentiation der mittleren Kreuzentropie über den Testtext: PPL = exp(H). Anschaulich: Eine Perplexity von 20 bedeutet, dass das Modell bei jedem nächsten Wort im Mittel zwischen 20 Möglichkeiten „raten" muss. Perplexity 1 wäre perfekte Vorhersage, höhere Werte bedeuten größere Unsicherheit.
In der Praxis
- Gemessen wird auf einem Testset, das das Modell beim Training nie gesehen hat — sonst zählt Kontamination (siehe LLM-Evaluation).
- Moderne große Sprachmodelle erreichen auf Standard-Korpora wie WikiText-103 einstellige bis niedrige zweistellige Werte; klassische N-Gramm-Modelle liegen deutlich höher.
- Perplexity misst die rohe Textwahrscheinlichkeit, nicht die inhaltliche Qualität einer Antwort — ein Modell kann niedrige Perplexity haben und trotzdem Unsinn produzieren.
- Sie hängt stark vom Tokenizer ab und ist deshalb nur zwischen Modellen mit gleicher Tokenisierung vergleichbar.
Verwandte Grundlagen: BLEU-Score, ROUGE-Score, Large Language Model, N-Gramm.