Fuga de datos en el aprendizaje automático: cómo la información del futuro o del conjunto de prueba llega a un modelo

Qué es

La página de escollos de scikit-learn define la fuga de datos como el uso, al construir el modelo, de información que no estaría disponible en el momento de la predicción, y afirma que el resultado es una estimación de rendimiento excesivamente optimista seguida de un rendimiento peor sobre datos genuinamente nuevos. Su regla general: los datos de prueba nunca deben usarse para tomar decisiones sobre el modelo, y fit nunca se llama sobre los datos de prueba, incluido el fit de los pasos de preprocesamiento como escaladores, imputadores y codificadores. La página recomienda un Pipeline para que cada paso se ajuste solo sobre el pliegue de entrenamiento, también dentro de la validación cruzada.

Por qué importa

La fuga de datos no genera un error. La puntuación de validación parece excelente, el modelo se despliega, y la brecha aparece solo cuando las predicciones reales se comparan con los resultados reales semanas después. Para entonces, la cifra obtenida sin conexión ya se ha citado en decisiones.

Cómo aplicarlo

• Colocar toda transformación que dependa de los datos (escalado, imputación, codificación, selección de características, remuestreo) dentro del pipeline que se valida de forma cruzada, nunca antes de la división.
• Auditar cada característica en busca de fuga hacia el objetivo: una columna que se completa después de conocerse el resultado (un indicador de «reembolso emitido» al predecir abandono, un código de diagnóstico al predecir una admisión) predice el objetivo perfectamente y resulta inútil en el momento de la predicción.
• Comprobar las marcas de tiempo: cada valor de característica debe poder calcularse a partir de datos que existían en el momento en que se habría hecho la predicción. Los agregados como «total de compras» deben cortarse en ese momento.
• Mantener las filas de una misma entidad en un solo lado de la división mediante divisores conscientes de grupos como GroupKFold, que la guía de validación cruzada describe exactamente para este caso.
• Sospechar de puntuaciones muy por encima de la referencia o de lo que los expertos del dominio consideran posible; la fuga de datos es la primera hipótesis que hay que comprobar.

Trampas

La deduplicación después de la división deja casi duplicados en ambos lados. La selección de características sobre el conjunto de datos completo antes de la validación cruzada filtra el objetivo a través de las columnas seleccionadas. La codificación del objetivo (target encoding) ajustada sobre las mismas filas que codifica filtra la etiqueta hacia la característica.