Validación cruzada anidada: cómo evaluar el proceso de selección de modelos

Definición

La validación cruzada anidada evalúa un procedimiento de aprendizaje que incluye la selección de hiperparámetros. Los pliegues externos miden el rendimiento sobre datos no vistos; los pliegues internos eligen la configuración usando únicamente la partición de entrenamiento del pliegue externo. Si se informa como resultado final la mejor puntuación obtenida durante el ajuste, se puede premiar un ruido de muestreo favorable y sobrestimar el rendimiento esperado. El anidamiento separa ambas responsabilidades. [1][2]

Cómo funciona

En cada iteración externa se reserva una partición para la evaluación. Con las observaciones restantes se ejecuta la búsqueda completa de parámetros mediante un bucle interno de validación cruzada. Después se reajusta el pipeline seleccionado sobre toda esa partición de entrenamiento externa y se puntúa una sola vez sobre la partición reservada. Esto se repite hasta haber evaluado cada partición externa.

El escalado, la imputación y la selección de variables deben ajustarse dentro de los pliegues de entrenamiento correspondientes. Un paso de preprocesamiento ajustado antes de dividir los datos puede filtrar información incluso cuando el estimador usa validación anidada. [3]

Flujo de trabajo práctico

1. Define la población de despliegue, la métrica principal, las configuraciones candidatas y el presupuesto de búsqueda antes de comparar resultados.
2. Elige divisores externos e internos que respeten los grupos de entidades o el orden temporal cuando sea necesario.
3. Mantén juntos el preprocesamiento y el estimador; guarda cada puntuación externa y la configuración seleccionada dentro de ese pliegue.
4. Resume los resultados externos, congela el procedimiento y repite su paso de ajuste sobre los datos de desarrollo disponibles para entrenar el modelo final.

Conserva un conjunto de prueba realmente intacto si necesitas una evaluación final independiente.

Ejemplo ilustrativo

Cálculo ilustrativo, no un experimento: un equipo compara doce configuraciones de parámetros con cinco pliegues externos y tres internos. Esto requiere 5 × 12 × 3 = 180 ajustes de candidatos, más cinco reajustes externos. El entrenamiento posterior del modelo final es un coste adicional.

Supón que dos pliegues externos eligen intensidades de regularización distintas. Esto no es necesariamente un defecto: cada búsqueda vio observaciones de entrenamiento diferentes. Registra esa inestabilidad en lugar de sustituir ambas elecciones por la configuración que casualmente obtuvo la mejor puntuación en los datos de evaluación externos.

Limitaciones y evaluación

Informa de las puntuaciones por pliegue, el tamaño del conjunto de datos, las reglas de división y el coste computacional. Las puntuaciones de los pliegues comparten observaciones de entrenamiento, por lo que su desviación estándar no es automáticamente un intervalo de confianza. Un conjunto de datos pequeño puede seguir produciendo una estimación ruidosa.

La estimación se refiere al procedimiento de selección con el tamaño de entrenamiento del pliegue externo, no es una garantía para el artefacto final ajustado. Rediseñar la búsqueda repetidamente tras inspeccionar las puntuaciones externas también reutiliza información de evaluación. Los pliegues aleatorios anidados no corrigen la fuga temporal, las entidades duplicadas ni una población de despliegue poco representativa. [1][2]

Fuentes

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices