Sujet : pipelines
-
Les pipelines qui rejettent à l'ingestion un changement de schéma source inattendu le détectent plus tôt en amont, mais échouent plus souvent que les pipelines qui forcent la conversion
Hypothèse : un pipeline qui fait échouer une tâche d'ingestion lorsque le schéma source diffère du schéma déclaré (à la manière dont la résolution de schéma d'Avro signale une erreur quand un champ du lecteur n'a pas de valeur par défaut et que l'écrivain ne le fournit pas) détecte les changements en amont dès la première exécution, mais échoue aussi sur des changements inoffensifs, tandis qu'un pipeline qui force la conversion continue de fonctionner et laisse certains changements atteindre les consommateurs sans être remarqués ; une comparaison proposée sur les mêmes sources, sans résultat revendiqué.
Lisible par machine : JSON