ETL contre ELT : où s'exécute la transformation et ce que cela change

Ce que c'est

La page citée de l'Azure Architecture Center décrit l'extraction, transformation, chargement (ETL) comme un processus d'intégration de données qui consolide des données issues de sources diverses dans un magasin unifié, la phase de transformation étant exécutée par un moteur spécialisé, souvent via des tables intermédiaires, avec des opérations typiques comme le filtrage, le tri, l'agrégation, la jointure, le nettoyage, la déduplication et la validation. Elle indique que l'extraction, chargement, transformation (ELT) diffère de l'ETL uniquement par l'endroit où la transformation a lieu : dans le pipeline ELT, la transformation se produit dans le magasin de données cible, en utilisant les propres capacités de traitement de ce magasin plutôt qu'un moteur séparé. La page note que cela retire le moteur de transformation de l'architecture, que mettre à l'échelle le magasin cible met aussi le pipeline à l'échelle, et que l'ELT ne fonctionne bien que lorsque le système cible est assez puissant pour transformer les données efficacement. Des outils comme dbt occupent le T de l'ELT ; sa documentation le décrit comme transformant les données brutes de l'entrepôt en produits de données fiables.

Pourquoi c'est important

L'ordre des lettres change quatre choses concrètes. Où le calcul est facturé : l'ELT paie avec le temps de requête de l'entrepôt, l'ETL avec un cluster ou un service séparé. Ce qui atterrit brut : l'ELT copie les tables source telles quelles, si bien que les décisions de minimisation des données doivent être prises à l'extraction ou par le contrôle d'accès dans l'entrepôt. Comment fonctionnent les réexécutions : une transformation ELT est une requête sur des données toujours présentes, donc une correction signifie réexécuter du SQL ; une correction ETL peut nécessiter de réextraire d'une source qui a changé depuis. Qui peut changer la logique : le SQL dans l'entrepôt est lisible par les analystes ; le code dans un moteur séparé appartient à qui exploite ce moteur.

Comment l'appliquer

• Choisir l'ELT quand la cible est un entrepôt colonne ou un lakehouse qui gère déjà le volume de données, et que les transformations s'expriment en SQL sur des tables chargées.
• Choisir l'ETL, ou une étape de transformation avant chargement, quand la source contient des données qui ne doivent jamais atteindre la cible (secrets, champs exclus par une politique), quand la cible est une petite base de données opérationnelle, ou quand la transformation nécessite du code ou des bibliothèques que la cible ne peut pas exécuter.
• Dans tous les cas, garder l'extrait brut immuable et séparé des sorties transformées, afin qu'une transformation puisse être reproduite à partir de la même entrée.
• Consigner, pour chaque table de sortie, quel instantané source et quelle version de transformation l'ont produite.

Pièges

Charger tout brut et reporter la modélisation produit un entrepôt que seul son auteur peut interroger. Les factures ELT évoluent selon la fréquence de reconstruction complète des modèles ; les modèles incrémentaux ont besoin de la discipline d'idempotence décrite dans l'article associé. Les conceptions mixtes, avec un nettoyage avant chargement pour certaines données et après pour d'autres, doivent documenter ce qui est quoi, sous peine qu'une règle de déduplication finisse appliquée deux fois ou pas du tout.