Cross-Entropy (Kreuzentropie) ist die meistverwendete Verlustfunktion (Loss) für Klassifikationsmodelle und das Training großer Sprachmodelle. Sie misst, wie weit die vorhergesagte Wahrscheinlichkeitsverteilung von der wahren Verteilung entfernt ist — kleinere Werte bedeuten bessere Vorhersagen.
Die Idee
Für die wahre Verteilung p (meist als One-Hot-Vektor: die richtige Klasse hat Wahrscheinlichkeit 1) und die vorhergesagte Verteilung q lautet die Cross-Entropy:
H(p, q) = − Σ p_i · log(q_i)
Da p nur an der richtigen Stelle 1 ist, vereinfacht sich der Ausdruck beim Training zum negativen Logarithmus der vorhergesagten Wahrscheinlichkeit der richtigen Klasse: −log(q_korrekt). Liegt das Modell richtig und sicher (q nahe 1), geht der Loss gegen 0; ist es unsicher oder falsch, steigt er stark an.
Zusammenhänge
- Cross-Entropy entspricht der negativen Log-Likelihood: Werden die Modellwahrscheinlichkeiten als Maximum-Likelihood-Schätzung optimiert, minimiert man genau die Kreuzentropie.
- Sie zerfällt in die Entropie der wahren Verteilung plus die Kullback-Leibler-Divergenz (KL): H(p, q) = H(p) + KL(p ‖ q). Bei festem p ist Loss-Minimierung gleichbedeutend mit KL-Minimierung.
- Bei zwei Klassen wird daraus die binäre Kreuzentropie (Log Loss), die auch die logistische Regression verwendet.
Cross-Entropy im Training
Beim überwachten Lernen vergleicht der Loss die Softmax-Wahrscheinlichkeiten des Netzes mit den Logits beziehungsweise der Zielklasse. Der Gradient fließt über die Backpropagation zurück in die Gewichte, die Gradient Descent dann anpasst. Große Sprachmodelle trainieren genauso: Sie lernen durch Cross-Entropy auf der Vorhersage des jeweils nächsten Tokens (Next-Token-Prediction).
Verwandte Grundlagen: Logits, Softmax, Loss-Funktion.