Datenqualitätsprüfungen: Aktualität, Menge, Nullwerte und Eindeutigkeit als Mindestsatz

Ziel

Einen unvollständigen, verspäteten, verdoppelten oder schlüssellosen Ladelauf an der Tabelle erkennen, die gebrochen ist – innerhalb eines Intervalls und bevor jemand einen Bericht darauf baut.

Voraussetzungen

Jede Tabelle hat eine erklärte Körnung (was eine Zeile bedeutet) und eine Ladezeitspalte oder Partition. Die dbt-Dokumentation modelliert eine Prüfung als SELECT, das fehlerhafte Datensätze zurückgibt – null Zeilen heisst bestanden – und bringt die generischen Tests not_null, unique, accepted_values und relationships mit; für Quellen lässt sich Aktualität über loaded_at_field mit den Schwellen warn_after und error_after konfigurieren. Wer ohne dbt arbeitet, schreibt dieselben vier Regeln als SQL im eigenen Scheduler; in der Datenbank selbst decken die von PostgreSQL dokumentierten Constraints NOT NULL, UNIQUE und FOREIGN KEY einen Teil davon dauerhaft ab.

Schritte

1. Aktualität: pro Quelle den erwarteten Ladetakt notieren, eine Warnschwelle knapp darüber und eine Fehlerschwelle dort setzen, wo der nachgelagerte Bericht falsch würde; max(geladen_am) gegen die Uhr zur Laufzeit prüfen.
2. Menge: die Zeilenzahl des gerade geladenen Intervalls mit denselben Intervallen früherer Perioden vergleichen (bei Tagesläufen derselbe Wochentag); Zählwerte in einer kleinen Verlaufstabelle speichern, mit weitem Band beginnen und es nach einigen Wochen Beobachtung verengen.
3. Nullwerte: NOT NULL auf Primär- und Fremdschlüsseln, auf der Partitionierungszeit und auf Kennzahlen, die Berichte summieren; für optionale Attribute stattdessen die Nullrate über die Zeit verfolgen.
4. Eindeutigkeit: Die Spalten der Körnung müssen eindeutig sein. Ein Duplikat ist eine Wiederholung der Quelle, ein aufgefächerter Join oder ein Neulauf, der angehängt statt ersetzt hat.
5. Reihenfolge: Prüfungen nach dem Laden und vor dem Schritt, der die Tabelle sichtbar macht (View-Tausch, Partition freigeben), damit ein Fehler auf Stufe «error» die Veröffentlichung stoppt und «warn» nur meldet.
6. Jedes Ergebnis – auch bestandene – mit Zeitstempel speichern und Fehlschläge mit den betroffenen Zeilen an die Eigentümerin der Tabelle leiten; flackernde Prüfungen werden so sichtbar.

Erwartetes Ergebnis

Ein Ladelauf, der zu spät, halb, doppelt oder mit verlorenen Schlüsseln ankommt, wird am Ort des Bruchs gemeldet, bevor er sich fortpflanzt.

Grenzen und Prüfbasis

Die vier Prüfungen finden strukturelle Brüche, keine wohlgeformten falschen Werte; Abstimmungen gegen das Quellsystem (Summen stimmen überein) kommen als Nächstes. Mengenbänder ohne Saisonwissen schlagen an jedem Feiertag an. Der Satz ist ein Vorschlag auf Basis der zitierten Dokumentation; eine Erkennungsrate wird nicht behauptet.