Datenbereinigung (englisch data cleaning oder data cleansing) umfasst alle Verfahren, um Fehler, Inkonsistenzen und Lücken in einem Datensatz zu erkennen und zu korrigieren, bevor er analysiert oder zum Modelltraining verwendet wird. Sie ist ein zentraler Teil der Datenqualität.
Typische Schritte
- Fehlende Werte erkennen und behandeln: entfernen, ersetzen oder als eigene Kategorie markieren.
- Duplikate finden und zusammenführen.
- Ausreißer prüfen — manche sind Messfehler, andere echte Extremwerte.
- Format vereinheitlichen: Datumsformate, Einheiten, Groß-/Kleinschreibung.
- Inkonsistenzen auflösen, etwa abweichende Schreibweisen desselben Werts.
Warum ist das wichtig?
Modelle lernen aus den Daten, was sie sehen. Enthält der Datensatz Fehler, lernt das Modell diese mit — das Ergebnis leidet, selbst wenn Algorithmus und Loss-Funktion optimal gewählt sind. Die Faustregel „garbage in, garbage out" gilt für maschinelles Lernen uneingeschränkt.
Zusammenspiel mit der Modellentwicklung
Bereinigte Daten sind die Voraussetzung für belastbare Kreuzvalidierung und faire Tests. Typischerweise folgt auf die Bereinigung die Feature-Engineering-Phase; der bereinigte Datensatz wird dann in Trainings- und Testanteile aufgeteilt.
Verwandte Grundlagen: Datenqualität, Trainingsdaten, Synthetische Daten, Data Augmentation, Kreuzvalidierung.