Die Loss Function (auch Verlustfunktion oder Fehlerfunktion) misst, wie stark die Vorhersage eines KI-Modells vom gewünschten Ergebnis abweicht. Sie ist der „Kompass" des Trainings: Je kleiner der Loss, desto besser das Modell. Ohne eine sinnvolle Loss Function kann ein Modell nicht lernen, weil es kein Maß dafür gibt, was „falsch" bedeutet.
Die Rolle im Training
Beim Supervised Learning kennt das Modell für jedes Beispiel die richtige Antwort. Die Loss Function vergleicht Vorhersage und Wahrheit und liefert eine Zahl. Das Optimierungsverfahren (z.B. Gradient Descent) nutzt die Ableitung dieser Zahl, um die Gewichte des Modells in die Richtung zu verschieben, die den Loss reduziert. Das Training ist im Kern nichts anderes als die schrittweise Minimierung der Loss Function.
Bekannte Loss Functions
- Mean Squared Error (MSE): Der Mittelwert der quadrierten Abweichungen. Standard bei Regression (Vorhersage von Zahlen wie Preisen oder Temperaturen). Quadrieren bestraft große Fehler überproportional.
- Mean Absolute Error (MAE): Der Mittelwert der absoluten Abweichungen. Robuster gegen Ausreißer als MSE, dafür ist die Ableitung bei 0 nicht definiert.
- Cross-Entropy: Misst, wie gut die vorhergesagte Wahrscheinlichkeitsverteilung zur tatsächlichen Klasse passt. Standard bei Klassifikation (z.B. „Katze" vs. „Hund") und bei Sprachmodellen, die das nächste Token vorhersagen.
- Hinge-Loss: Wird bei Support Vector Machines verwendet; belohnt Vorhersagen, die die Klassengrenze mit ausreichend Abstand einhalten.
Warum die Wahl der Loss Function entscheidend ist
Die Loss Function bestimmt, was das Modell als „gut" ansieht. Ein Beispiel: Bei der Vorhersage von Aktienkursen bestraft MSE große Fehler stärker als kleine — das Modell wird konservativer. Bei der Klassifikation mit unbalancierten Klassen kann eine einfache Cross-Entropy dazu führen, dass das Modell die häufige Klasse bevorzugt; dann helfen gewichtete Varianten.
Loss, Overfitting und Regularisierung
Ein sinkender Trainings-Loss ist nicht alles: Wenn der Loss auf den Trainingsdaten gegen null geht, der Fehler auf neuen Daten aber steigt, ist das Modell in Overfitting verfallen — es hat die Trainingsbeispiele auswendig gelernt statt generalisiert. Deshalb beobachtet man den Loss auch auf den Validierungsdaten und ergänzt die Loss Function oft um Regularisierungsterme, die zu komplexe Modelle bestrafen.
Loss-Kurven lesen
Beim Training protokolliert man den Loss nach jeder Epoche. Eine gesunde Kurve fällt stetig und flacht ab. Steigt der Validierungs-Loss, während der Trainings-Loss weiter fällt, ist das ein klares Zeichen für Overfitting — dann hilft es, weniger Epochen zu trainieren, mehr Daten zu nutzen oder die Modellgröße zu reduzieren.
Verwandte Grundlagen: Training, Overfitting, Dataset, Supervised Learning, Maschinelles Lernen, Deep Learning.