Der Bias-Variance-Tradeoff beschreibt den grundlegenden Zielkonflikt beim maschinellen Lernen: Jedes Modell hat zwei Fehlerquellen, die gegenläufig wirken. Der Gesamtfehler eines Modells zerlegt sich in Bias, Varianz und irreduzibles Rauschen (Bias² + Varianz + Rauschen). Die Suche nach dem besten Kompromiss ist die Kernaufgabe der Modellselektion.
Bias: systematische Vereinfachung
Bias entsteht, wenn ein Modell zu einfache Annahmen trifft und die Struktur der Daten nicht erfasst. Ein lineares Modell für stark nichtlineare Zusammenhänge hat hohen Bias — es passt systematisch daneben. Hoher Bias äußert sich als Underfitting: Das Modell lernt die Trainingsdaten nicht einmal gut.
Varianz: Empfindlichkeit auf Trainingsdaten
Varianz misst, wie stark sich das Modell ändert, wenn andere Trainingsdaten verwendet werden. Sehr flexible Modelle mit vielen Parametern haben hohe Varianz — sie lernen das Rauschen der Trainingsdaten mit und zeigen Overfitting: geringer Fehler auf Trainingsdaten, hoher Fehler auf neuen Daten.
Der Zielkonflikt
Komplexere Modelle senken den Bias, erhöhen aber die Varianz; einfachere Modelle senken die Varianz, erhöhen aber den Bias. Das Optimum liegt beim geringsten Gesamtfehler auf ungesehenen Daten — meist zwischen den Extremen. Typische Gegenmittel: Regularisierung, Kreuzvalidierung, mehr Trainingsdaten oder Ensembles. Wer die Balance gezielt justieren will, dreht an den Hyperparametern des Modells.
Verwandte Grundlagen: Overfitting, Underfitting, Hyperparameter.