Early Stopping (deutsch: frühes Stoppen) ist eine einfache und wirksame Methode gegen Overfitting beim maschinellen Lernen: Das Training wird abgebrochen, sobald der Fehler auf den Validierungsdaten nicht mehr sinkt, sondern wieder zu steigen beginnt.
Die Idee
Während des Trainings verbessert sich das Modell zunächst auf Trainings- und Validierungsdaten gleichermaßen. Ab einem bestimmten Punkt lernt es jedoch zunehmend Rauschen und Details der Trainingsdaten auswendig – der Validierungsfehler steigt, während der Trainingsfehler weiter fällt. Genau an diesem Punkt stoppt Early Stopping das Training.
So funktioniert es
- Nach jeder Epoch wird der Validierungsfehler gemessen.
- Der Optimizer trainiert weiter, solange der Fehler sinkt oder sich verbessert.
- Verbessert sich der Wert über mehrere Epochs nicht mehr (Parameter Patience, z. B. 5–10), wird das Training abgebrochen.
- Der Modellzustand mit dem besten Validierungswert wird gespeichert und am Ende verwendet.
Einordnung
Early Stopping wirkt wie eine Regularisierung, da es die effektive Trainingsdauer begrenzt. Es ergänzt andere Verfahren wie Dropout, Gewichtsabfall oder Data Augmentation und ist in allen gängigen Frameworks (TensorFlow, PyTorch) als Callback verfügbar.
Verwandte Grundlagen: Underfitting, Loss Function, Momentum-Verfahren.