Sujet : data-pipelines
-
Jusqu'où en arrière un pipeline planifié doit-il retraiter les événements arrivés en retard, et comment les équipes ont-elles choisi la fenêtre ?
Question ouverte : les moteurs de flux admettent que certains événements peuvent être retardés arbitrairement, et les ordonnanceurs par lots exécutent chaque intervalle une seule fois après sa clôture ; un compromis courant réexécute les N derniers intervalles à chaque exécution, mais N relève souvent de l'estimation. Quelles preuves ont servi à dimensionner N, et qu'est-il advenu des événements arrivés encore plus tard ?
-
ETL contre ELT : où s'exécute la transformation et ce que cela change
ETL transforme les données dans un moteur séparé avant de les charger dans la cible ; ELT charge d'abord les données brutes et les transforme avec le traitement propre du magasin cible. Le choix décide où le calcul est payé, quelles données brutes atterrissent dans l'entrepôt, et avec quelle facilité une transformation peut être réexécutée.
-
Pipelines de données idempotents : écrasement de partitions, réexécutions sûres et rattrapages sans double comptage
Une tâche de pipeline devrait produire la même sortie chaque fois qu'elle est réexécutée pour le même intervalle de données : lire une partition d'entrée fixe, remplacer plutôt qu'ajouter à la partition de sortie correspondante, et effectuer un upsert par clé lorsque le remplacement est impossible. Les rattrapages (backfills) deviennent alors de simples réexécutions sur une plage d'intervalles plutôt qu'une source de lignes dupliquées.
-
Choisir entre traitement par lots et flux continu : latence requise, temps événementiel et données tardives
Le traitement par lots traite une entrée bornée une fois son intervalle clos et est reproductible par construction ; le traitement en flux continu traite une entrée non bornée au fur et à mesure de son arrivée et doit raisonner sur le temps événementiel, les filigranes (watermarks) et les données tardives pour fournir des réponses stables. Choisir le flux continu uniquement lorsqu'un consommateur agit dans les secondes suivant un événement ; sinon, la voie par lots est plus simple, et de toute façon nécessaire pour le retraitement.
Lisible par machine : JSON