Holdout (englisch für „zurückbehalten“) ist die einfachste Methode, ein Modell zu bewerten: Der Datensatz wird einmalig in eine Trainingsmenge und eine zurückbehaltene Testmenge aufgeteilt, zum Beispiel im Verhältnis 80:20 oder 70:30. Das Modell lernt auf der Trainingsmenge und wird anschließend auf den unbekannten Testdaten geprüft.
Vorteile und Grenzen
Der Holdout ist schnell, leicht zu verstehen und benötigt nur einen einzigen Lauf. Sein großer Nachteil ist die Varianz: Das Ergebnis hängt stark davon ab, welche zufälligen Stichproben in die Testmenge geraten sind. Bei kleinen Datensätzen kann ein anderer Split zu deutlich anderen Leistungswerten führen.
Genau hier setzt die Kreuzvalidierung an: Sie wiederholt die Aufteilung in mehreren Faltungen und mittelt die Ergebnisse, liefert dafür aber einen höheren Rechenaufwand. Der Holdout ist deshalb vor allem bei großen Datensätzen sinnvoll, bei denen eine einzelne Testmenge bereits aussagekräftig ist.
Praxis-Hinweise
- Wer zusätzlich Hyperparameter abstimmen möchte, ergänzt eine Validierungsmenge – die systematische Variante davon ist der Train-Test-Split in drei Teile.
- Vor dem Teilen sollten Datenbereinigung und Feature Scaling geplant werden; der Skalierungs-Fit gehört ausschließlich auf die Trainingsmenge.
- Bei zeitlichen Daten niemals zufällig splitten, sondern chronologisch, um in die Zukunft zu testen.
Verwandte Grundlagen: Testdaten, Validierungsdaten, Dataset, Maschinelles Lernen.