Estrategias de deduplicación de registros: filas exactas, conservar el último por clave y ventanas acotadas

Qué es

Bajo el término «duplicados» se esconden tres problemas distintos. Los duplicados exactos son filas idénticas en todas las columnas, normalmente producidas por una reejecución que volvió a insertar datos o por un reintento que tuvo éxito dos veces. Las versiones son filas que comparten una clave de negocio pero difieren en otras columnas, producidas por flujos de cambios o por extracciones repetidas de una tabla mutable; solo se quiere una de ellas, normalmente la más reciente. Las reentregas son el mismo mensaje recibido más de una vez desde un transporte con semántica at-least-once (al menos una vez). Cada caso requiere una regla distinta. La documentación de PostgreSQL (citada) describe DISTINCT ON (expressions), que conserva solo la primera fila de cada conjunto de filas en las que las expresiones son iguales, y advierte de que la «primera» es impredecible a menos que ORDER BY coloque primero la fila deseada. Las colas FIFO de Amazon SQS (citadas) deduplican mediante un MessageDeduplicationId, de modo que dentro de una ventana de 5 minutos solo se entrega una instancia de un mensaje con ese ID. dropDuplicates de PySpark (citado) elimina filas duplicadas en un lote, pero en un DataFrame de streaming conserva todos los datos entre triggers como estado, salvo que un watermark acote cuánto puede tardar en llegar un duplicado.

Por qué importa

Una regla de deduplicación sin orden elige una versión al azar sin avisar y cambia los resultados entre ejecuciones. Una ventana de deduplicación demasiado corta deja pasar duplicados; una sin límite hace crecer el estado hasta que el job falla. Deduplicar en el lugar equivocado oculta un fallo aguas arriba (un productor que reintenta sin clave) que sigue generando costes en otros puntos.

Cómo aplicarlo

• Duplicados exactos: SELECT DISTINCT o un group by por todas las columnas; mejor aún, corregir la inserción para que se convierta en un reemplazo de partición.
• Versiones: DISTINCT ON (key) ... ORDER BY key, updated_at DESC, ingest_id DESC o ROW_NUMBER() OVER (PARTITION BY key ORDER BY ...) = 1, con un criterio de desempate determinista después de la marca de tiempo.
• Reentregas: asignar a cada mensaje una clave de idempotencia estable en el productor, almacenarla en el consumidor con una restricción de unicidad y tratar un conflicto como «ya procesado».
• Streaming: deduplicar por clave dentro de una ventana acotada por watermark y documentar ese límite; los duplicados más antiguos que el límite se tratan con una pasada batch periódica.
• Las coincidencias aproximadas (mismo cliente, distinta grafía) son vinculación de registros (record linkage), no deduplicación: normalizar, comparar con reglas explícitas y conservar ambos originales con un vínculo entre ellos.

Trampas

Usar el hash de la fila completa como clave hace que el hash cambie cada vez que se añade una columna. Conservar el último por updated_at falla cuando los relojes difieren entre fuentes; es preferible un número de secuencia de la fuente. Deduplicar antes de un join oculta qué lado multiplicó las filas.