Sanalytics Lakehouse-Modellierungskompass

Welcher Modellierungsansatz passt zu Ihrer Data- & AI-Plattform?

Bronze, Silber, Gold: Die Medallion-Architektur ist bekannt, wird aber oft mit Datenmodellierung verwechselt. Sie ordnet nur, in welcher Schicht Daten liegen. Wie die Daten in Objekten organisiert werden, entscheidet das Datenmodell. Die verbreiteten Methoden dafür sind Kimball und Data Vault 2.0. Diese Entscheidung fällt am Anfang und ist später nur mit erheblichem Aufwand zu korrigieren.

In fünf bis zehn Minuten erhalten Sie eine begründete Ersteinschätzung, für Data- & AI-Plattformen auf Azure Databricks und Microsoft Fabric.

Kimball Data Vault 2.0

15 bis 18 Fragen

Alle Fragen beziehen sich auf Ihren Arbeitsalltag: Ihre Quellsysteme, wie oft sich dort etwas ändert, wer später womit auf der Plattform arbeitet und welche Erfahrung Ihr Team mitbringt. Drei davon erscheinen nur, wenn Ihre Antworten sie nötig machen. Vorkenntnisse in Datenmodellierung sind nicht nötig, Fachbegriffe sind markiert und am Ende erklärt.

Fünf bis zehn Minuten

Sie beantworten eine Frage nach der anderen, zu jeder gibt es ein Beispiel aus der Projektpraxis. Zurückgehen und Antworten ändern ist jederzeit möglich.

Ergebnis sofort

Sie sehen Ihre Empfehlung samt Erklärung, wie der Ansatz in Bronze, Silber und Gold konkret aussieht, welche Objekte entstehen, wer welche Schicht liest, was Sie dafür in Kauf nehmen und womit Sie anfangen sollten. Und Sie können uns direkt unter der Auswertung zurückmelden, ob die Einschätzung zu Ihrer Lage passt.

Die Ansätze im Überblick

Zur Wahl stehen zwei Ansätze, Kimball oder Data Vault 2.0, Kimball in zwei Bauweisen. Alle enden im selben Sternschema. Der Unterschied liegt darin, wo mehrere Quellsysteme zusammengeführt werden und wo die Geschäftsregeln liegen.

Kimball in einfacher Medallion-Architektur

Silber hält je Quelle ein Quellmodul: bereinigt, fachlich benannt, historisiert, noch mit den Schlüsseln der eigenen Quelle. Zusammengeführt wird erst im Ladeschritt nach Gold, dort entsteht das Sternschema.

Passt, wenn jedes Geschäftsobjekt aus einer Quelle kommt, eine Lesart der Zahlen gilt und die Quellen stabil sind.

Kimball mit Integrations- und Harmonisierungsschicht

Zwischen die Quellmodule und Gold tritt eine modulare Schicht in Silber, in der Schlüssel über Systeme zugeordnet, Attribute und Kennzahlen harmonisiert und Geschäftsregeln einmal hinterlegt werden. Gold stellt das Sternschema nur noch zusammen.

Passt, wenn mehrere Quellen dieselben Objekte liefern oder mehrere Bereiche dieselben Kennzahlen verschieden lesen.

Data Vault 2.0: Integration und Geschäftslogik getrennt und modular

Technische Integration und fachliche Regeln sind getrennt und modular: Hubs, Links und Satellites im Raw Vault führen die Quellen über Geschäftsschlüssel zusammen, Geschäftsregeln und Abfragehilfen liegen im Business Vault, in Gold Information Marts, die wieder wie ein Sternschema aussehen.

Passt, wenn viele verschiedene Quellen, Nachweispflichten und unternehmensweite Reichweite zusammenkommen und das Team die Methode trägt und mit einem Generator umsetzt.

Welcher Weg zu Ihrer Ausgangslage passt, hängt an Quellen, Änderungsfrequenz, Historisierungspflichten, Nutzerkreis, Abnehmern, Team und Zeitrahmen. Genau das fragt der Kompass ab.

Die drei Wege entlang der Schichten

Bronze, Silber und Gold gibt es in jedem Weg. Der Unterschied liegt in Silber: dort, wo mehrere Quellen zusammengeführt werden und die Geschäftsregeln liegen.

Bronze Silber Gold Kimball in einfacher Medallion-Architektur
BronzeRohdaten je Quelle, Vollhistorie oder aktueller Abzug
SilberQuellmodule je Quelle, nichts zusammengeführt
GoldSternschema, der Ladeschritt hierher führt zusammen
Kimball mit Integrations- und Harmonisierungsschicht
BronzeRohdaten je Quelle, immer Vollhistorie
SilberQuellmodule, darüber die Integrations- und Harmonisierungsschicht
GoldSternschema, nur noch zusammengestellt
Data Vault 2.0
BronzeRohdaten je Quelle, unverändert
SilberRaw Vault für die technische Integration, Business Vault für die fachlichen Regeln
GoldInformation Mart, dasselbe Sternschema

Kimball in einfacher Medallion-Architektur ist der Startpunkt. Sobald eine zweite Quelle dasselbe Objekt liefert oder eine zweite Lesart derselben Kennzahl gelten soll, kommt die Integrations- und Harmonisierungsschicht dazu.

Beispiel Ende zu Ende: zwei ERP-Systeme und ein CRM

Dasselbe Beispiel für alle drei Wege: Zwei ERP-Instanzen liefern Lieferbelege, Material und Kunden, ein CRM Accounts und Ansprechpartner. Klappen Sie einen Weg auf und sehen Sie, welche Objekte in Bronze, Silber und Gold entstehen. Der Kopf eines Kastens nennt Katalog und Schema, die Zeilen die Tabellen: Katalog ist die Schicht, Schema die Herkunft, ein Präfix nennt nur die Bauform.

Kimball in einfacher Medallion-Architektur
Bronze

Rohdaten unter dem Namen der Quelle, Vollhistorie oder aktueller Abzug

bronze.erp_alikplipsmarakna1
bronze.erp_blikplipsmara
bronze.crmaccountcontact
Silber

Quellmodule je Quelle, Schlüssel bleiben aus der Quelle, nichts zusammengeführt

silver.erp_adelivery_headerdelivery_itemmaterialcustomer
silver.erp_bdelivery_headerdelivery_itemmaterial
silver.crmaccountcontact
Gold

Sternschema, der Ladeschritt hierher ordnet zu, harmonisiert und rechnet

goldsupply_chain.fact_deliverysupply_chain.dim_materialcommon.dim_customercommon.dim_plantcommon.dim_date

Silber isoliert die Quellen, die Zusammenführung passiert je Gold-Objekt.

Ändert eine Quelle ihre Struktur, fängt ihr Quellmodul das ab. Wer eine quellreine Sicht braucht, liest direkt darauf.

Kimball mit Integrations- und Harmonisierungsschicht
Bronze

Rohdaten unter dem Namen der Quelle, immer Vollhistorie

bronze.erp_alikplipsmarakna1
bronze.erp_blikplipsmara
bronze.crmaccountcontact
Silber

Quellmodule je Quelle, darüber die Integrations- und Harmonisierungsschicht

silvererp_a.delivery_headererp_a.materialerp_b.delivery_headererp_b.materialcrm.account
silver.harmonizedmap_materialmap_customermaterialcustomerref_delivery_statusbridge_customer_hierarchykpi_delivery_reliabilitysnapshot_inventory_month_end
Gold

Sternschema, nur noch zusammengestellt

goldsupply_chain.fact_deliverysupply_chain.dim_materialcommon.dim_customercommon.dim_plantcommon.dim_date

Silber führt zusammen: Schlüsselzuordnung, Gewinnerregeln, Kennzahlen und Stichtage liegen genau einmal und werden von jedem Gold-Objekt gelesen.

Ändert sich eine Regel, wird die Schicht aus Bronze neu gebaut. Deshalb ist Bronze hier immer Vollhistorie.

Data Vault 2.0
Bronze

Rohdaten unter dem Namen der Quelle, unverändert

bronze.erp_alikplipsmarakna1
bronze.erp_blikplipsmara
bronze.crmaccountcontact
Silber

technische Integration im Raw Vault, fachliche Regeln im Business Vault

silver.raw_vaulthub_materialhub_customerhub_deliverysat_erp_a_materialsat_erp_b_materialsat_crm_customerlink_delivery_material
silver.business_vaultpit_materialpit_customerbridge_delivery_material
Gold

Information Mart, dasselbe Sternschema wie bei Kimball

goldsupply_chain.fact_deliverysupply_chain.dim_materialcommon.dim_customercommon.dim_date

Der Hub ist die eine Stelle, an der beide Quellen auf dieselbe Geschäftsidentität zeigen.

Jeder Information Mart erbt diese Integration, statt sie zu wiederholen.

Ihre Auswertung zeigt den Weg, der zu Ihren Antworten passt, mit Diagramm, diesem Beispiel, der Liste der Objekte und einem Vergleich der drei Wege. Die Herleitung mit Grafiken steht im Artikel Kimball oder Data Vault 2.0.

Begriffe kurz erklärt

Die Fachbegriffe aus den Fragen und aus der Auswertung, in Lesereihenfolge vom Allgemeinen zum Speziellen. Im Kompass sind sie mit einem Stern markiert.

Medallion-Architektur
Die übliche Schichtung auf einem Lakehouse: In Bronze landen Rohdaten unverändert, in Silber werden sie bereinigt und modelliert, in Gold stehen die auswertbaren Objekte für Berichte und Analysen. Medallion sagt, in welcher Schicht etwas liegt, aber nicht, wie modelliert wird. Genau diese zweite Frage beantwortet Ihre Empfehlung.
Kimball
Der klassische dimensionale Ansatz nach Ralph Kimball. Kennzahlen stehen in Faktentabellen, Blickwinkel wie Kunde, Material oder Datum in Dimensionstabellen, verbunden zum Sternschema. Mehrere Quellen werden über konformierte Dimensionen zusammengeführt. Im Kompass kommt Kimball in zwei Bauweisen vor: in einfacher Medallion-Architektur oder mit Integrations- und Harmonisierungsschicht.
Sternschema
Die Zielform für Auswertungen: eine Faktentabelle mit den Kennzahlen in der Mitte, darum die Dimensionstabellen mit den Blickwinkeln. Power BI und andere BI-Werkzeuge arbeiten damit am besten. Beide Ansätze enden in dieser Form.
Konformierte Dimension
Eine Dimension, auf die sich alle Auswertungen einigen. Kommt Material aus zwei Systemen, ist die konformierte Materialdimension die eine Liste, in der beide Quellschlüssel auf denselben Eintrag zeigen. Bei Kimball ist sie der Mechanismus, mit dem Quellen zusammengeführt werden.
Quellmodule
Die Silber-Objekte je Quellsystem: bereinigt, fachlich umbenannt, historisiert und getestet, aber noch mit den Schlüsseln der eigenen Quelle und ohne Zusammenführung mit anderen Systemen. Ändert eine Quelle ihre Struktur, fängt ihr Quellmodul das ab.
Integrations- und Harmonisierungsschicht
Eine modulare Schicht in Silber über den Quellmodulen, in der Schlüssel über Systeme hinweg zugeordnet, Attribute und Kennzahlen harmonisiert und Geschäftsregeln einmal hinterlegt werden: Schlüsselzuordnungen, harmonisierte Kernobjekte, Wertelisten, Bridge Tables, Kennzahlen, Stichtagstabellen. Sie übernimmt die Rolle, die im Data Vault Hubs, Same-as-Links und Business Vault zusammen haben, ist aber mit Kimball-Mitteln gebaut.
Schlüsselzuordnung
Eine Tabelle, die jeden Schlüssel eines Geschäftsobjekts aus jedem Quellsystem auf eine gemeinsame Identität abbildet, etwa Material 4711 im ERP A und MAT-4711 im ERP B auf dasselbe Material, mit Gültigkeitszeitraum. Sie wird einmal gepflegt und von allen Gold-Objekten gelesen.
Bridge Table
Eine Kimball-Tabelle für Beziehungen, die nicht in eine Zeile passen: Mehrfachbeziehungen wie ein Kunde mit mehreren Ansprechpartnern, oder Hierarchien unterschiedlicher Tiefe wie Konzern, Tochter, Standort. Im Data Vault heißt eine Abfragehilfe über mehrere Links ebenfalls Bridge.
Stichtagstabelle
Eine Tabelle, die den Stand zu einem festen Zeitpunkt festhält, etwa den Lagerbestand zum Monatsende, bevor Korrekturbuchungen kamen. Bei Kimball heißt das Periodic Snapshot: eine Zeile je Periode, nicht je Buchung.
Historisierung
Das Mitschreiben früherer Stände, damit rückwirkend beantwortbar bleibt, wie ein Wert zu einem bestimmten Zeitpunkt aussah. Technisch je Zeile ein Gültig-ab, ein Gültig-bis und ein Aktuell-Kennzeichen. Delta Time Travel ersetzt das nicht, das ist ein Betriebswerkzeug mit kurzer Aufbewahrung.
Vollhistorie
Bronze als Archiv: Jede Lieferung eines Quellsystems wird unverändert angehängt, nie überschrieben. So lässt sich jede Schicht darüber jederzeit neu aufbauen, und jeder Wert bleibt bis zur Quelle belegbar. In der Data-Vault-Welt heißt dieses Archiv Persistent Staging Area.
Data Vault 2.0
Modellierungsansatz nach Dan Linstedt, der Geschäftsschlüssel, Beziehungen und beschreibende Attribute in getrennte Tabellen legt und die Integration so im Datenmodell verankert. Die Bausteine Hub, Link und Satellite folgen festen Mustern, deshalb wird ein Data Vault in der Praxis generiert.
Hub, Link, Satellite
Die drei Bausteine des Data Vault. Hubs halten die Geschäftsschlüssel, also die Identität eines Kunden oder Materials. Links halten die Beziehungen zwischen Hubs. Satellites halten die beschreibenden Felder samt Historie, getrennt je Quelle, nur eingefügt, nie überschrieben.
Geschäftsschlüssel
Der fachliche Schlüssel eines Objekts, wie ihn das Unternehmen kennt: Materialnummer, Kundennummer, Belegnummer. Bei Kimball füllt er die Schlüsselzuordnung, im Data Vault den Hub.
Raw Vault
Die erste Schicht des Data Vault in Silber: Hubs, Links und Satellites als unveränderte, historisierte Abbildung der Quellen, geladen nur mit technischen Regeln, ohne fachliche Interpretation. Deshalb vollständig auditierbar.
Business Vault
Die Schicht über dem Raw Vault, in der Geschäftsregeln angewendet werden: berechnete Satellites, Same-as-Links, PIT-Tabellen und Bridges als Abfragehilfen. Optional und sparsam gebaut, nur was das Geschäft braucht. Sie setzt einen Raw Vault voraus.
Same-as-Link
Ein Data-Vault-Baustein, der festhält, dass zwei Schlüssel dasselbe Geschäftsobjekt bezeichnen, etwa ein Kunde im ERP und derselbe Kunde im CRM. Ist die Zuordnung eine fachliche Regel, liegt der Same-as-Link im Business Vault.
PIT-Tabelle
Point-in-Time-Tabelle, eine Abfragehilfe des Business Vault: Sie hält für jeden Geschäftsschlüssel und Stichtag fest, welche Satellite-Stände galten, damit Stichtagsabfragen über viele Satellites schnell bleiben.
Information Mart
Die Auslieferungsschicht des Data Vault in Gold: aus Raw Vault und Business Vault abgeleitete Sternschemas oder flache Tabellen für Berichte und Analysen. Fachlich dasselbe wie das Gold bei Kimball.
Generator
Ein Werkzeug, das Hubs, Links, Satellites und ihre Ladeprozesse aus Metadaten erzeugt, statt dass sie von Hand geschrieben werden, etwa datavault4dbt, AutomateDV, VaultSpeed oder WhereScape.
Semantisches Modell
Die Definitionsschicht über Gold, die Tabellen zu einem Modell mit benannten Kennzahlen, Hierarchien, Beziehungen und Berechtigungen verbindet. Sie liegt im BI-Werkzeug, in Power BI und Fabric heißt sie so, oder in der Plattform, auf Databricks etwa als Metric Views. Gold liefert die konformen Tabellen, das semantische Modell legt darauf fest, wie Kennzahlen heißen und rechnen. Berichte, Self-Service und Assistenten lesen dieses Modell, nicht die Tabellen direkt.
Metric Views
Zentral in Unity Catalog definierte Kennzahlen auf Databricks: einmal festgelegt, von Dashboards, Assistenten und externen BI-Werkzeugen gleich gerechnet.