Conjuntos de entrenamiento, validación y prueba: para qué sirve cada división y cómo recortarla

Qué es

La guía de usuario de scikit-learn describe la disposición estándar: un modelo evaluado sobre las filas con las que se ajustó puntúa bien y no dice nada sobre datos no vistos, así que se aparta una parte de los datos como conjunto de prueba. Como los hiperparámetros se ajustan mirando las puntuaciones, ajustar contra el conjunto de prueba deja que el conocimiento de este se filtre al modelo; la guía introduce por tanto una tercera parte, el conjunto de validación, sobre la que se toman las decisiones, y afirma que igualmente debería apartarse un conjunto de prueba para la evaluación final incluso cuando la validación cruzada sustituye al conjunto de validación. En la validación cruzada de k particiones, los datos de entrenamiento se dividen en k partes y cada parte sirve una vez como validación, de modo que todas las filas de entrenamiento contribuyen a la estimación de selección de modelo.

Por qué importa

Los números reportados a partir del conjunto de prueba son los únicos que estiman el comportamiento en producción, y solo lo hacen si las filas de prueba se parecen a las que el modelo encontrará y nunca se usaron para ninguna decisión. Un conjunto de prueba consultado diez veces durante el desarrollo es un conjunto de validación con un nombre engañoso.

Cómo aplicarlo

• Dividir una sola vez, al principio, antes de cualquier exploración, y guardar la división (identificadores de fila o una semilla con el código de división exacto) junto con el proyecto.
• Usar train_test_split(..., stratify=y) para clasificación, de modo que las clases raras aparezcan en cada parte en la misma proporción; la API documenta el parámetro stratify para esto.
• Dividir por grupo (GroupKFold) cuando varias filas provienen de una misma entidad, como un mismo paciente, cliente o documento, para que ninguna entidad aparezca en ambos lados.
• Dividir por tiempo (TimeSeriesSplit o una fecha de corte fija) cuando el modelo vaya a predecir el futuro; una división aleatoria de datos ordenados en el tiempo entrena con el mañana y prueba con el ayer.
• Evaluar sobre el conjunto de prueba una sola vez, al final, y registrar el número junto con la versión del modelo; si hace falta una iteración más, tratar la puntuación de prueba anterior como gastada.

Trampas

Los duplicados o casi duplicados entre divisiones inflan las puntuaciones. Un conjunto de prueba diminuto da una estimación puntual con una incertidumbre amplia; reportar un intervalo, no solo el número. Las puntuaciones de validación cruzada son puntuaciones de selección de modelo y no pueden sustituir al resultado de prueba apartado.