Eine Data Pipeline ist eine automatisierte Folge von Schritten, die Daten aus Quellsystemen erfasst, transformiert, anreichert und in Zielsysteme überträgt. Sie ist das „Fließband" der Datenarchitektur: Statt Daten mühsam von Hand zu kopieren, übernimmt die Pipeline Extraktion, Bereinigung und Verteilung zuverlässig und wiederholbar.
Batch oder Streaming
Pipelines lassen sich nach Verarbeitungsweise unterscheiden: Batch-Pipelines verarbeiten Daten in zeitgesteuerten Stapeln (etwa nächtliche Ladungen) und eignen sich für Analysen ohne Echtzeitbedarf. Streaming-Pipelines verarbeiten Daten kontinuierlich mit geringer Latenz und sind für Echtzeit-Dashboards, Betrugserkennung oder Monitoring nötig. Werkzeuge wie Apache Kafka transportieren Ereignisströme zwischen den Stufen.
ETL und ELT
Klassisch arbeitet eine Pipeline als ETL-Prozess: Extract (extrahieren), Transform (umformen), Load (laden). Beim moderneren ELT-Ansatz werden die Rohdaten zuerst in das Zielsystem (etwa ein Data Warehouse oder Data Lake) geladen und erst dort per SQL transformiert — das nutzt die Rechenleistung der Analyseplattform und ist bei großen Datenmengen flexibler. Ein Lakehouse kombiniert beide Welten.
Orchestrierung und Qualität
Moderne Pipelines werden orchestriert: Werkzeuge wie Apache Airflow planen und überwachen die Schritte, behandeln Fehler und starten Abhängigkeiten. Zusätzlich gehören Data Quality (Prüfung auf Vollständigkeit und Korrektheit), Data Lineage (Nachvollziehbarkeit der Datenherkunft) und Observability (Überwachung des Pipeline-Zustands) zu einer professionellen Datenhaltung. Ohne saubere Pipelines entstehen aus SQL-Quellen schnell fehlerhafte oder veraltete Datenbestände.
Verwandte Grundlagen: ETL, Data Warehouse, Data Lake, Business Intelligence, Data Mining.