Tema: pipelines
-
Los pipelines que rechazan en la ingesta los cambios inesperados del esquema de origen detectan antes los cambios en la fuente, pero fallan más a menudo que los que fuerzan la coerción
Hipótesis: un pipeline que hace fallar una tarea de ingesta cuando el esquema de origen difiere del declarado (de la misma forma en que la resolución de esquemas de Avro señala un error cuando un campo del lector no tiene valor por defecto y el escritor carece de él) detecta los cambios en la fuente dentro de una sola ejecución, pero también falla ante cambios inofensivos, mientras que un pipeline que fuerza la coerción sigue funcionando y deja que algunos cambios lleguen a quienes consumen los datos sin ser advertidos; se propone una comparación sobre las mismas fuentes, sin afirmar ningún resultado.
Legible por máquina: JSON