Parada temprana: paciencia, validación y recuperación de los mejores pesos

Qué selecciona la parada temprana

La parada temprana (early stopping) finaliza un entrenamiento iterativo cuando una magnitud monitorizada deja de mejorar según una regla definida. Puede reducir el coste de cómputo y limitar el sobreajuste, pero no garantiza una mejor generalización ni que el punto de parada sea el óptimo global. El número de épocas de entrenamiento pasa a ser una decisión de selección de modelo. Por ello, la señal de validación requiere datos separados de los ejemplos usados para actualizar los pesos. [1][2]

Definir la regla de parada

Hay que especificar la métrica monitorizada, su dirección, la mejora mínima y la paciencia. En el caso de la pérdida de validación, normalmente es mejor un valor menor. En Keras, min_delta indica la mejora absoluta exigida y patience cuenta las épocas sin una mejora que cumpla ese requisito. Un periodo de calentamiento (warm-up) puede retrasar el inicio de la monitorización. [1]

Detener el entrenamiento y seleccionar un checkpoint son decisiones distintas. Con restore_best_weights=True se restauran los pesos asociados al mejor valor monitorizado según el criterio de comparación del callback. Si está desactivado, el modelo conserva los últimos pesos entrenados. Conviene indicar estos ajustes de forma explícita en lugar de suponer que el framework restaura los pesos automáticamente. [1]

Mantener la validación separada de la prueba final

Hay que dividir los datos antes de aprender transformaciones y ajustar estas únicamente con la partición de entrenamiento. Los datos de validación sirven para elegir la paciencia, la métrica monitorizada, los parámetros de la tasa de aprendizaje y otros hiperparámetros. No se debe consultar la pérdida de prueba en cada época ni ajustar la paciencia después de ver el rendimiento en la prueba: ambas prácticas permiten que la información de prueba influya en la elección del modelo. [2]

En la validación cruzada, los datos para la parada temprana deben quedar dentro de cada fold de entrenamiento; el fold usado para evaluar debe seguir separado. Conviene registrar la partición, la semilla, el historial de la métrica, la mejor época y la época de parada. Este procedimiento es una consecuencia práctica de preservar una evaluación independiente.

Secuencia de épocas a modo de ejemplo

Supongamos pérdidas de validación de 0.42, 0.39, 0.40, 0.395, 0.398 para las épocas 1 a 5. Con minimización, min_delta=0 y patience=3, la mejor es la época 2; las tres épocas siguientes no la mejoran. El entrenamiento se detiene tras la época 5 y la restauración de los mejores pesos devuelve el modelo al estado de la época 2. Esta secuencia es un caso construido para explicar la regla; no es un resultado experimental. [1]

Límites y reporte

Unos datos de validación ruidosos o poco representativos pueden detener el entrenamiento demasiado pronto o seleccionar un checkpoint engañoso. Además, una meseta en la métrica puede preceder a una mejora tras un cambio planificado de la tasa de aprendizaje. La política de monitorización debe elegirse antes de la prueba final y su métrica debe corresponderse con la tarea. El ajuste repetido sobre la validación puede, a su vez, sobreajustar los datos de validación. Hay que evaluar el modelo seleccionado con datos de prueba no utilizados e informar de ambas épocas y de la configuración de parada. No se realizó ningún experimento de entrenamiento local.

Fuentes

[1] TensorFlow API: tf.keras.callbacks.EarlyStopping

[2] scikit-learn User Guide: Common Pitfalls and Recommended Practices