Validierungsdaten (englisch validation data) sind der Teil des Datensatzes, der während des Trainings zur Auswahl des besten Modells und seiner Hyperparameter dient. Sie sind der Probelauf zwischen Training und Endabnahme: Auf ihnen wird gemessen, ob eine Änderung das Modell wirklich verbessert.
Der Ablauf im Training
- Das Modell lernt auf den Trainingsdaten.
- Nach jedem Durchgang wird es auf den Validierungsdaten geprüft.
- Steigt der Validierungsfehler, obwohl der Trainingsfehler sinkt, ist das ein Warnsignal für Overfitting.
- Am Ende wird das fertige Modell genau einmal auf den Testdaten bewertet.
Frühes Stoppen
Ein praktischer Einsatz der Validierungsdaten ist das Early Stopping: Sobald sich der Validierungsfehler über mehrere Durchläufe nicht mehr verbessert oder zu steigen beginnt, wird das Training abgebrochen. Das verhindert, dass das Modell unnötig auf die Trainingsdaten überanpasst.
Hyperparameter-Tuning
Die Validierungsdaten sind die Bewertungsgrundlage für Verfahren wie die Grid-Suche oder Random Search, bei denen viele Hyperparameter-Kombinationen durchprobiert werden. Werden die Testdaten in diese Auswahl einbezogen, ist die spätere Endabnahme wertlos. Eine robuste Alternative ist die Kreuzvalidierung, bei der der Validierungsanteil rotiert und jedes Datenstück einmal zur Prüfung dient.
Auch die Regularisierung wird über Validierungsdaten eingestellt: Die Stärke der Strafe, die das Modell von zu komplexen Lösungen abhält, wird so gewählt, dass der Validierungsfehler minimal wird.