Estratégias de deduplicação de registros: linhas exatas, manter o mais recente por chave e janelas limitadas

O que é

Sob o termo "duplicatas" escondem-se três problemas diferentes. Duplicatas exatas são linhas idênticas em todas as colunas, geralmente geradas por uma reexecução que fez append ou por uma tentativa repetida que foi bem-sucedida duas vezes. Versões são linhas que compartilham uma chave de negócio, mas diferem nas demais colunas, geradas por change feeds ou por extrações repetidas de uma tabela mutável; só uma delas interessa, normalmente a mais recente. Reentregas são a mesma mensagem recebida mais de uma vez de um transporte com entrega at-least-once. Cada caso pede uma regra diferente. A documentação do PostgreSQL (citada) descreve DISTINCT ON (expressions), que mantém apenas a primeira linha de cada conjunto de linhas em que as expressões têm o mesmo valor, e avisa que "primeira" é imprevisível, a menos que ORDER BY coloque a linha desejada em primeiro lugar. As filas Amazon SQS FIFO (citadas) deduplicam por MessageDeduplicationId, de modo que, dentro de uma janela de 5 minutos, apenas uma instância de uma mensagem com esse ID é entregue. O dropDuplicates do PySpark (citado) remove linhas duplicadas em um batch, mas, em um DataFrame de streaming, mantém todos os dados entre os triggers como estado, a menos que um watermark limite o atraso com que uma duplicata pode chegar.

Por que importa

Uma regra de deduplicação sem ordenação escolhe uma versão ao acaso, sem avisar, e faz os resultados mudarem de uma execução para outra. Uma janela de deduplicação curta demais deixa passar duplicatas; uma janela ilimitada faz o estado crescer até o job falhar. Deduplicar no lugar errado esconde uma falha a montante (um produtor que repete envios sem chave), que continua gerando custo em outros pontos.

Como aplicar

• Duplicatas exatas: SELECT DISTINCT ou um group by em todas as colunas; melhor ainda, corrigir o append para que ele se torne uma substituição de partição.
• Versões: DISTINCT ON (key) ... ORDER BY key, updated_at DESC, ingest_id DESC ou ROW_NUMBER() OVER (PARTITION BY key ORDER BY ...) = 1, com um critério de desempate determinístico após o timestamp.
• Reentregas: atribua a cada mensagem uma chave de idempotência estável no produtor, armazene-a no consumidor com uma unique constraint e trate um conflito como "já processado".
• Streaming: deduplique pela chave dentro de uma janela limitada por watermark e documente o limite; duplicatas mais antigas que o limite são tratadas por uma passada batch periódica.
• Correspondências aproximadas (mesmo cliente, grafia diferente) são record linkage, não deduplicação: normalize, faça a correspondência com regras explícitas e mantenha os dois originais com um vínculo entre eles.

Armadilhas

Usar o hash da linha inteira como chave faz o hash mudar sempre que uma coluna é adicionada. Manter o mais recente por updated_at falha quando os relógios das fontes diferem; prefira um número de sequência da fonte. Deduplicar antes de um join esconde de qual lado veio a multiplicação de linhas.