Die Temperatur ist ein zentraler Parameter der Textgenerierung von Sprachmodellen. Sie steuert, wie zufällig oder deterministisch ein Modell beim Generieren von Text entscheidet — je höher die Temperatur, desto kreativer (und riskanter) die Ausgabe.
So funktioniert die Temperatur
Ein Sprachmodell berechnet für jeden möglichen Token eine rohe Bewertung, den Logit. Vor der Umwandlung in Wahrscheinlichkeiten (Softmax) wird jeder Logit durch die Temperatur T geteilt: adjustierter Logit = Logit / T. Dadurch verändert sich die Form der Wahrscheinlichkeitsverteilung:
- T = 1: neutral, die ursprüngliche Verteilung bleibt unverändert (Standardwert).
- T < 1: die Verteilung wird schärfer, wahrscheinliche Tokens dominieren stärker — die Ausgabe wird fokussierter und deterministischer.
- T → 0: das Modell wählt praktisch immer das wahrscheinlichste Token (argmax) — das entspricht dem Greedy Decoding.
- T > 1: die Verteilung wird flacher, auch unwahrscheinliche Tokens erhalten mehr Gewicht — die Ausgabe wird vielfältiger und überraschender.
Praxis
Übliche Werte liegen zwischen 0 und 2. Für faktische Antworten, Code oder Übersetzungen wählt man niedrige Werte (0,1 bis 0,3), für kreatives Schreiben oder Brainstorming höhere (0,7 bis 1,2). Eine sehr hohe Temperatur führt schnell zu unsinnigem oder zusammenhangslosem Text.
Verwandte Grundlagen: Top-k-Sampling, Repetition Penalty, Nucleus Sampling, Greedy Decoding.
Mehr zum Thema: Maschinelles Lernen, Prompting-Techniken, Large Language Model.