Der Train-Test-Split teilt einen Datensatz in getrennte Teilmengen auf, damit ein Modell auf unbekannten Daten ehrlich bewertet werden kann. Ohne diese Aufteilung würde das Modell nur prüfen, ob es seine Trainingsdaten auswendig gelernt hat, statt ob es gelernte Muster verallgemeinert.
Die klassische Dreiteilung
In der Praxis werden üblicherweise drei Mengen gebildet:
- Trainingsmenge: Auf ihr lernt das Modell die Muster aus den Daten.
- Validierungsmenge: Mit ihr werden Hyperparameter abgestimmt und Überanpassung (Validierungsdaten) früh erkannt.
- Testmenge: Sie bewertet das fertige Modell genau einmal auf völlig unbekannten Daten und liefert so die unverzerrte Leistungsschätzung.
Typische Verhältnisse sind 70/15/15 oder 80/10/10; bei sehr großen Datensätzen reichen oft wenige Prozent für die Testmenge. Bei Klassifikationsproblemen sollte die Aufteilung stratifiziert erfolgen, damit jede Klasse in allen Teilmengen proportional vertreten ist.
Wichtige Stolperfallen
- Die Testmenge darf nur einmal verwendet werden. Wer sie wiederholt zur Modellauswahl nutzt, schleust Information in die Bewertung ein.
- Ein fester Zufalls-Seed (z. B.
random_state=42) macht den Split reproduzierbar. - Vorbereitungsschritte wie Feature Scaling dürfen nur auf der Trainingsmenge angepasst werden, sonst entsteht Datenleckage.
- Die einfache einmalige Aufteilung heißt Holdout; bei kleinen Datensätzen ist die Kreuzvalidierung aussagekräftiger.
Verwandte Grundlagen: Testdaten, Dataset, Modell, Maschinelles Lernen.