Vazamento de dados em machine learning: como informações do futuro ou do conjunto de teste chegam ao modelo

O que é

A página de armadilhas do scikit-learn define vazamento de dados (data leakage) como o uso, na construção do modelo, de informações que não estariam disponíveis no momento da previsão. Segundo a página, o resultado é uma estimativa de desempenho excessivamente otimista, seguida de desempenho pior em dados realmente novos. A regra geral: os dados de teste nunca devem ser usados para tomar decisões sobre o modelo, e fit nunca é chamado nos dados de teste, o que inclui o fit de etapas de pré-processamento como scalers, imputers e encoders. A página recomenda usar um Pipeline, para que cada etapa seja ajustada apenas no fold de treino, inclusive dentro da validação cruzada.

Por que importa

O vazamento não gera nenhum erro. A métrica de validação parece excelente, o modelo vai para produção, e a diferença só aparece semanas depois, quando as previsões reais são comparadas com os resultados reais. Nessa altura, o número obtido offline já foi citado em decisões.

Como aplicar

• Coloque toda transformação que depende dos dados (escalonamento, imputação, codificação, seleção de features, reamostragem) dentro do pipeline que passa pela validação cruzada, nunca antes da divisão.
• Audite cada feature quanto a vazamento do alvo: uma coluna preenchida depois que o resultado já é conhecido (um indicador de "reembolso emitido" ao prever churn, um código de diagnóstico ao prever internação) prevê o alvo perfeitamente e é inútil no momento da previsão.
• Verifique os timestamps: todo valor de feature deve poder ser calculado a partir de dados que já existiam no momento em que a previsão teria sido feita. Agregados como "total de compras" devem ser cortados nesse momento.
• Mantenha as linhas de uma mesma entidade do mesmo lado da divisão, usando divisores que respeitam grupos, como GroupKFold, que o guia de validação cruzada descreve justamente para esse caso.
• Desconfie de métricas muito acima do baseline ou do que especialistas do domínio consideram possível; o vazamento é a primeira hipótese a testar.

Armadilhas

Fazer a deduplicação depois da divisão deixa quase-duplicatas nos dois lados. Fazer a seleção de features no conjunto de dados inteiro antes da validação cruzada vaza o alvo por meio das colunas selecionadas. Um target encoding ajustado nas mesmas linhas que ele codifica vaza o rótulo para dentro da feature.