Ein Lakehouse kombiniert die Vorteile von Data Lake und Data Warehouse: offene, kostengünstige Speicherung roher Daten (Object Storage, Parquet) plus die Struktur-, Transaktions- und Analysefähigkeiten eines Data Warehouse. Der Begriff wurde 2020 maßgeblich von Databricks (Mitbegründer Ali Ghodsi, Konzept von Michael Armbrust u. a.) geprägt.
Open Table Formats
Die Brücke schlagen offene Tabellenformate wie Delta Lake, Apache Iceberg und Apache Hudi. Sie legen über den Parquet-Dateien eine Metadaten-/Transaktionsschicht an (Transaction Log), die ACID-Transaktionen, Zeitreisen (Time Travel), Schema-Evolution und Upserts auf den Speicher legt.
Medallion Architecture
Typisches Muster ist die Medallion-Architektur in drei Stufen:
- Bronze: rohe, unveränderte Quelldaten
- Silver: bereinigte, validierte, zusammengeführte Daten
- Gold: fachlich aufbereitete, business-ready Daten (oft als Data Marts für Analysen)
Vorteile
Ein Lakehouse vermeidet die doppelte Datenhaltung von Lake und Warehouse (Datensumpf-Risiko, Datenduplikation), unterstützt sowohl OLAP-Analysen als auch Machine Learning direkt auf den Rohdaten und läuft auf offenen Standards statt proprietären Formaten.
Verwandte Grundlagen: Data Lake, Data Warehouse, ETL.