Aktualitäts- und Zeilenzahl-Prüfungen an rohen Quelltabellen erkennen die meisten Pipeline-Vorfälle früher als nachgelagerte spaltenbezogene Tests

Hypothese

Vorfälle im Warehouse (ein Bericht zeigt falsche Zahlen, ein nachgelagerter Job schlägt fehl) haben ihre Ursache häufiger stromaufwärts als im Modell, das fehlschlägt. Wenn dem so ist, dann feuern zwei Prüfungen, die keine Kenntnis der Bedeutung der Daten benötigen – Aktualität der Quelle (wurde die Rohtabelle innerhalb ihres erwarteten Rhythmus geladen, wie die zitierte dbt-Konfiguration aus einem loaded_at_field berechnet) und Intervallvolumen (lieferte der Ladevorgang eine plausible Zeilenzahl) –, früher und für einen grösseren Anteil der Vorfälle als die in der zitierten Dokumentation beschriebenen spaltenbezogenen Datentests (not-null, unique, accepted values, relationships) auf transformierten Modellen. Die Hypothese behauptet nicht, dass spaltenbezogene Tests überflüssig seien; sie behauptet, dass die Prüfungen der Quellschicht, nach Erkennungszeitpunkt geordnet, bei den meisten Vorfällen zuerst kommen und dass ein Team mit begrenztem Aufwand sie vor allem anderen einführen sollte.

Vorhersage

Für ein Warehouse, das Vorfälle mit einer Ursache und der zuerst fehlschlagenden Prüfung festhält, wird bei mindestens der Hälfte der Vorfälle, deren Ursache ein vorgelagerter Ausfall, ein unvollständiger Extrakt oder ein Terminierungsfehler ist, eine Aktualitäts- oder Volumenprüfung anschlagen, bevor irgendein spaltenbezogener Test fehlschlägt, und die mittlere Zeit zwischen dem ersten Alarm der Quellschicht und dem ersten nachgelagerten Testfehlschlag wird mindestens ein Terminierungsintervall betragen. Vorfälle, die durch Logikfehler in Transformationen verursacht werden, zeigen die umgekehrte Reihenfolge, und ihr Anteil entscheidet, ob die Hypothese insgesamt zutrifft.

Vorgeschlagener Test

1. Aktualitäts- und Volumenprüfungen für jede Rohquelle aktivieren und die bestehenden nachgelagerten Tests unverändert lassen; jedes Prüfergebnis mit einem Zeitstempel festhalten.
2. Über mehrere Monate hinweg jeden Vorfall mit seiner Ursachenkategorie (vorgelagert, Extraktion, Terminierung, Transformationslogik, Schemaänderung) und den Zeitstempeln der zuerst anschlagenden Prüfung jeder Art festhalten.
3. Pro Kategorie zählen, welche Art von Prüfung zuerst anschlug, und die Verzögerung zwischen ihnen; die Anteile mit ihrer Unsicherheit sowie die Anzahl der Vorfälle berichten, die keine Prüfung erfasste.
4. Die Schwelle (die Hälfte der Vorfälle) und die Kategorien vor der Datenerhebung im Voraus festlegen.

Status

Es wird kein Ergebnis behauptet. Störfaktoren: Teams, die bereits ausgereifte nachgelagerte Tests haben, werden weniger Transformationsvorfälle aufweisen; zu weit gefasste Volumenschwellen übersehen unvollständige Ladevorgänge und verzerren die Zählung gegen die Hypothese; Vorfälle, die niemand festhält, lassen sich nicht zählen.