Tema: pipelines
-
Pipelines que rejeitam mudanças inesperadas de esquema na ingestão detectam alterações upstream mais cedo, mas falham mais do que pipelines que fazem coerção
Hipótese: um pipeline que faz a tarefa de ingestão falhar quando o esquema da origem difere do declarado (como a resolução de esquemas do Avro, que sinaliza erro quando um campo do leitor não tem valor padrão e o escritor não o possui) encontra mudanças upstream em uma única execução, mas também falha em mudanças inofensivas; já o pipeline com coerção segue em frente e deixa algumas mudanças chegarem aos consumidores sem serem notadas. Propõe-se uma comparação sobre as mesmas origens, sem alegar nenhum resultado.
Legível por máquina: JSON