Label Smoothing (deutsch: Label-Glättung) ist eine Regularisierungstechnik für Klassifikationsmodelle. Statt harter One-Hot-Zielwerte (1 für die richtige Klasse, 0 für alle anderen) werden die Ziel-Labels „weicher“ gemacht, sodass das Modell nicht übermäßig sicher wird. Die Idee geht auf Christian Szegedy und Kollegen zurück und wurde 2016 im Inception-v3-Papier bekannt.
Wie Label Smoothing funktioniert
Bei K Klassen wird das Ziel-Label der korrekten Klasse von 1 auf 1 − ε gesetzt, die übrige Masse ε wird gleichmäßig auf die anderen K−1 Klassen verteilt. Mit dem üblichen Wert ε = 0,1 erhält die richtige Klasse 0,9, jede falsche Klasse 0,1/(K−1). Die Loss-Funktion – typischerweise Kreuzentropie nach einem Softmax – bleibt unverändert, nur die Ziel-Verteilung ist weicher.
Warum es hilft
Harte One-Hot-Labels verleiten das Modell dazu, für Trainingsbeispiele eine Wahrscheinlichkeit von nahezu 100 % auszugeben. Das führt zu Overconfidence: Das Modell ist auf neuen Daten zu sicher und schlecht kalibriert. Label Smoothing dämpft diese Tendenz, verbessert die Generalisierung und reduziert Overfitting. Empirisch zeigte es auch positive Effekte auf die Qualität von Embeddings und die Stabilität des Trainings.
Praxis-Tipps
- Typische Werte für ε: 0,05 bis 0,2; Standard ist 0,1.
- Nicht mit Weight Decay verwechseln – beide regulieren, aber auf unterschiedliche Weise.
- Zusammen mit Gradient Clipping stabilisierbar, wenn das Training zusätzlich zu Overshooting neigt.
Verwandte Grundlagen: Label, Loss-Funktion, Aktivierungsfunktion, Regularisierung.