Datenintegration ist der Prozess, Daten aus unterschiedlichen Quellen – Datenbanken, APIs, Dateien, Cloud-Diensten – zusammenzuführen und in einer einheitlichen, konsistenten Sicht verfügbar zu machen. Sie ist die Grundlage für Data Warehouse, Data Lake, Analysen und datengetriebene Entscheidungen.
Warum Datenintegration?
- Sie beseitigt Datensilos: Abteilungen arbeiten nicht mehr mit getrennten, widersprüchlichen Datenbeständen.
- Sie schafft eine konsistente Entscheidungsbasis: Analysen beziehen sich auf denselben, bereinigten Datenstand.
- Sie automatisiert manuelle Übertragungen und reduziert Fehlerquellen.
Methoden und Ansätze
- Batch-Integration: Daten werden zeitgesteuert in Stapeln übertragen – der klassische Weg für nächtliche Ladeprozesse.
- Echtzeit- und Streaming-Integration: Daten fließen kontinuierlich mit niedriger Latenz, etwa über Event-Streams wie Kafka.
- Change Data Capture (CDC): Nur die Änderungen an einer Quelldatenbank werden erfasst und weitergegeben.
- Datenvirtualisierung: Eine virtuelle Abstraktionsschicht verbindet verteilte Quellen, ohne die Daten physisch zu kopieren.
- Datenföderation: Quellsysteme bleiben eigenständig, werden aber über eine gemeinsame Abfrage-Schnittstelle angesprochen.
Umsetzung mit ETL und ELT
Die klassische Umsetzung erfolgt über ETL (Extract, Transform, Load): Daten werden extrahiert, transformiert und in ein Zielsystem geladen. Beim moderneren ELT übernimmt das Zielsystem die Transformation – ideal, wenn ein Data Warehouse oder Lakehouse viel Rechenleistung bietet. Die Ergebnisse landen typischerweise in einem Data Warehouse oder Data Lake, die Verarbeitung wird über Data Pipelines orchestriert.
Herausforderungen
- Datenqualität: Inkonsistente, unvollständige Quellen erzeugen fehlerhafte Ergebnisse – siehe Datenqualität.
- Schemas: Unterschiedliche Formate und Strukturen müssen harmonisiert werden.
- Governance: Wer darf welche Daten wie nutzen? Diese Fragen klärt Data Governance.
- Sicherheit und Compliance: Datenschutz und gesetzliche Vorgaben gelten auch für integrierte Datenbestände.
Verwandte Grundlagen: ETL, Data Pipeline, Data Warehouse, Data Lake, Data Governance, Datenqualität.