Bias (deutsch: Verzerrung oder systematischer Fehler) beschreibt im Machine Learning die Tendenz eines Modells, immer wieder in dieselbe Richtung danebenzuliegen - unabhängig davon, welche konkreten Trainingsbeispiele verwendet werden. Ein Modell mit hohem Bias lernt die zugrunde liegenden Muster der Daten nicht gut genug.
Bias und Varianz: das Dilemma
Das Bias-Varianz-Dilemma ist das zentrale Spannungsfeld beim Modelltraining:
- Hoher Bias: Das Modell ist zu einfach und vereinfacht die Realität zu stark - es kommt zum Underfitting. Training- und Testfehler sind beide hoch.
- Hohe Varianz: Das Modell reagiert überempfindlich auf kleine Schwankungen der Trainingsdaten - es kommt zum Overfitting. Der Trainingsfehler ist niedrig, der Testfehler hoch.
Zwischen beiden Extremen liegt der Punkt, an dem das Modell die Muster erfasst, ohne das Rauschen mitzulernen. Regularisierung und die Wahl der Lernrate steuern, wohin sich ein Modell in diesem Spektrum bewegt.
Quellen von Bias
- Zu einfaches Modell: Eine Klassifikation mit einer Geraden kann keine gekrümmten Entscheidungsgrenzen lernen.
- Fehlende Merkmale: Ist ein wichtiger Einflussfaktor gar nicht in den Trainingsdaten enthalten, bleibt der Fehler systematisch.
- Verzerrte Daten: Spiegeln die Trainingsdaten die Realität nicht wider (z.B. einseitige Altersverteilung), lernt das Modell den Bias der Daten mit.
- Zu starke Regularisierung: Wird die Komplexität zu aggressiv bestraft, rutscht das Modell zurück in den Underfitting-Bereich.
Bias erkennen und reduzieren
Ein Lernkurven-Vergleich trennt die Ursachen: Bleiben Trainings- und Validierungsfehler gleichermaßen hoch, ist der Bias das Problem. Dann helfen ein komplexeres Modell, mehr oder bessere Merkmale und eine Kreuzvalidierung, um die Modellwahl ehrlich zu bewerten. In der Statistik wird der Begriff Bias übrigens auch allgemein für die systematische Abweichung eines Schätzers vom wahren Wert verwendet - im Gegensatz zum reinen Zufallsfehler.
Einordnung: Bias und Varianz sind zentrale Konzepte beim Training von neuralen Netzen und allen Modellen der Künstlichen Intelligenz.