Overfitting (Überanpassung) ist eines der häufigsten Probleme beim Training von Machine-Learning-Modellen: Das Modell lernt die Trainingsdaten nahezu perfekt auswendig, versagt aber bei neuen, unbekannten Daten. Statt allgemeiner Regeln hat es „Rauschen" und Einzelfälle gespeichert.
Was ist Overfitting?
Beim Machine Learning soll ein Modell Muster aus Beispielen lernen. Überanpassung entsteht, wenn das Modell zu komplex ist oder zu lange trainiert wird: Es passt sich nicht nur den echten Mustern an, sondern auch dem Zufallsrauschen der Trainingsdaten. Die Fehlerrate auf den Trainingsdaten sinkt fast auf null — auf neuen Daten steigt sie dagegen stark an.
Woran erkennt man Overfitting?
- Sehr gute Leistung auf Trainingsdaten, deutlich schlechtere auf Testdaten
- Modell „erinnert" einzelne Beispiele statt Regeln zu lernen
- Komplexe Modelle überanpassen schneller als einfache
Gegenmaßnahmen
- Mehr Trainingsdaten: Mehr Beispiele verwässern das Rauschen
- Regularisierung: Bestrafung zu großer Gewichte (z.B. L1/L2)
- Early Stopping: Training beenden, sobald der Fehler auf Validierungsdaten steigt
- Dropout: Bei neuronalen Netzen werden zufällig Neuronen deaktiviert
- Cross-Validation: Modell auf mehreren Datenaufteilungen prüfen
Das Gegenstück ist Underfitting — das Modell ist zu einfach und lernt die Muster gar nicht. Das Ziel ist immer der goldene Mittelweg. Verwandte Begriffe: Deep Learning, Neuronale Netze, Training mit Datensätzen.