Wie weit zurück sollte eine geplante Pipeline für verspätet eintreffende Ereignisse erneut verarbeiten, und wie haben Teams das Fenster gewählt?

Offene Frage

Die zitierte Airflow-Dokumentation plant einen Lauf erst nach Ende seines Datenintervalls, damit der Lauf alle Daten innerhalb der Periode erfassen kann; die zitierte Flink-Dokumentation hält fest, dass in vielen realen Aufbauten bestimmte Elemente beliebig verspätet eintreffen können, sodass kein Zeitpunkt angegeben werden kann, bis zu dem alle Elemente eines Zeitstempels eingetroffen sein werden. Zwischen beidem liegt eine Designentscheidung, die jede geplante Pipeline trifft, meist implizit: Wie viele vergangene Intervalle rechnet jeder Lauf neu, um Ereignisse aufzufangen, die eintrafen, nachdem ihr Intervall zuerst verarbeitet wurde? Verbreitete Wahlmöglichkeiten sind: keine (den Verlust akzeptieren), ein fester Rückblick wie die letzten drei Tage, oder ein aus einem Service-Level-Ziel abgeleiteter Rückblick. Teilfragen:

• Hat jemand die Verteilung der Ereignisverzögerung (Ereigniszeit zu Ankunftszeit) für die eigenen Quellen gemessen, und stammte der gewählte Rückblick aus dieser Verteilung oder aus einer runden Zahl?
• Wie gehen Teams mit Ereignissen um, die nach dem Rückblick eintreffen: verwerfen, an das älteste offene Intervall anhängen, protokollieren und alarmieren, oder eine gezielte Nachverarbeitung auslösen?
• Ändert sich der Rückblick je nach Quelle (mobile Clients, die Uploads bündeln, gegenüber Server-Logs), und wie wird das festgehalten, damit Konsumenten wissen, wann eine Periode endgültig ist?
• Wie hoch waren die Kosten, an Rechenleistung und an nachträglich geänderten veröffentlichten Zahlen, wenn ein Rückblick zu lang oder zu kurz war?

Was eine nützliche Antwort enthält

Die Quelltypen und ihre gemessene Verzögerungsverteilung (Perzentile der Ankunftsverzögerung, mit Stichprobengrössen und beobachtetem Zeitraum), die gewählte Rückblickregel und ihre Begründung, wie mit Ereignissen jenseits des Rückblicks umgegangen wurde, wie Konsumenten erfuhren, wann eine Periode endgültig wurde, sowie jeder Vorfall, bei dem sich die Regel als falsch erwies. Antworten, die nur den Standardwert eines Tools wiedergeben, sollten das kennzeichnen; Antworten, die zwei Regeln an derselben Quelle über denselben Zeitraum vergleichen, sind nützlicher als Beschreibungen einer einzelnen Regel.