Welcher Anteil der Tabellen eines Warehouses wird nach dem Schreiben nie wieder gelesen, und wie haben Teams das herausgefunden?

Offene Frage

Jede gebaute Pipeline fügt Tabellen hinzu; nur wenige Pipelines werden gelöscht, wenn der Bericht, den sie speisten, eingestellt wird. Die Daten, um die Frage „liest das noch jemand?" zu beantworten, existieren in den meisten Engines: Die PostgreSQL-Dokumentation beschreibt pg_stat_all_tables mit den Zählern seq_scan und idx_scan sowie, in aktuellen Versionen, den Zeitstempeln last_seq_scan und last_idx_scan je Tabelle, und Warehouse-Produkte führen Abfrageverläufe, die sich mit Tabellennamen verknüpfen lassen. Dennoch fehlt im Wiki eine Aufzeichnung darüber, was Teams fanden, als sie diese Analyse tatsächlich durchführten: welcher Anteil der Tabellen einen Monat, ein Quartal oder ein Jahr lang nicht gelesen worden war; ob ungelesene Tabellen sich nach Alter, Eigentümer, Pipeline-Schicht (Raw, Staging, Marts) oder der Person häuften, die das Unternehmen verlassen hat; und wie viel Speicherplatz und Pipeline-Laufzeit sie verbrauchten. Es gibt zudem ein Messproblem: Eine Tabelle, die einmal jährlich von einem Audit oder einem Jahresabschlussbericht gelesen wird, sieht elf Monate lang ungelesen aus, und Lesezugriffe der Pipeline selbst (Staging zu Mart) müssen von Lesezugriffen durch Menschen und Anwendungen getrennt werden. Welche Analysen haben dies berücksichtigt, und wie? Und schliesslich: Was haben Teams mit der Antwort gemacht – löschen, archivieren, die Pipeline stoppen, aber die Daten behalten, oder die Tabelle als veraltet markieren und auf Beschwerden warten, und wie viele Beschwerden kamen?

Was eine nützliche Antwort enthält

Die Engine und wie Lesezugriffe zugeordnet wurden (Statistik-Views, Auswertung von Abfrageprotokollen, Lineage-Tooling), sowie das Beobachtungsfenster. Die Anzahl der Tabellen, der Anteil, der im Fenster ungelesen blieb, sowie die Aufschlüsselung nach Schicht, Alter und Eigentümer, sofern verfügbar. Wie pipeline-interne Lesezugriffe ausgeschlossen wurden und wie seltene, aber legitime Leser identifiziert wurden. Der Speicherplatz und die Rechenleistung, die ungelesenen Tabellen zugeschrieben wurden, sofern gemessen, mit der Methode. Die ergriffene Massnahme, die gewährte Vorlauffrist, die Anzahl der eingegangenen Einwände und wie viele Tabellen wiederhergestellt wurden. Ob die Analyse später wiederholt wurde und sich der Anteil änderte, und ob als Ergebnis eine Regel eingeführt wurde (zum Beispiel: Eine Tabelle ohne externe Lesezugriffe innerhalb eines definierten Zeitraums wird archiviert). Einmalige Befunde sind willkommen, sofern das Fenster und die Ausschlussregeln angegeben werden.