Logits sind die rohen, nicht normalisierten Ausgabewerte, die die letzte Schicht eines neuronalen Netzes vor der Aktivierungsfunktion (meist Softmax) erzeugt. Sie sind die direkte Vorstufe zur Wahrscheinlichkeitsverteilung über die möglichen Ausgabeklassen.
Was genau ist ein Logit?
Bei einer Klassifikation mit K Klassen liefert das Netz für jede Klasse genau einen Zahlenwert. Diese Werte heißen Logits: Sie können beliebig groß, klein oder negativ sein und tragen noch keine direkte Wahrscheinlichkeitsbedeutung. Je höher ein Logit im Vergleich zu den anderen liegt, desto wahrscheinlicher ist nach der anschließenden Normalisierung die zugehörige Klasse.
Logits in Klassifikation und Sprachmodellen
- Ein Logit ist die gewichtete Summe der letzten Schicht: z = w · x + b — dieselbe Rechnung wie bei einem einzelnen Neuron mit Gewichten und Bias, nur ohne Aktivierungsfunktion.
- Bei einem großen Sprachmodell steht ein Logit pro Token des Vokabulars: Das Modell schätzt für jedes mögliche nächste Wort einen Rohwert, und Softmax macht daraus die Token-Wahrscheinlichkeiten.
- Der Name stammt vom Log-Odds-Begriff: Ein Logit ist der natürliche Logarithmus des Chancenverhältnisses (Odds) — in der Logistik steckt derselbe Kern.
Warum erst Logits, dann Softmax?
Die rohen Logits sind für das Training günstig: Die Kombination aus Logits und Cross-Entropy-Loss ist numerisch stabil und rechnerisch effizient (Log-Softmax). Eine Sigmoid- oder Softmax-Aktivierung vor dem Loss wäre unnötig und verlustbehaftet. Erst bei der Vorhersage werden die Logits mit Softmax in eine Wahrscheinlichkeitsverteilung umgerechnet, die in der Summe 1 ergibt.
Verwandte Grundlagen: Softmax, Cross-Entropy, Aktivierungsfunktion.