Arrêt anticipé : patience, validation et restauration des meilleurs poids

Ce que sélectionne l'arrêt anticipé

L'arrêt anticipé (early stopping) met fin à l'entraînement itératif lorsqu'une grandeur surveillée cesse de s'améliorer selon une règle donnée. Il peut réduire le temps de calcul et limiter le surapprentissage, mais il ne garantit ni une meilleure généralisation ni l'obtention du point d'arrêt globalement optimal. Le nombre d'epochs d'entraînement devient une décision de sélection de modèle. Le signal de validation exige donc des données séparées des exemples utilisés pour mettre à jour les poids. [1][2]

Définir la règle d'arrêt

Il faut préciser la métrique surveillée, son sens d'optimisation, l'amélioration minimale et la patience. Pour la perte de validation, une valeur plus faible est normalement meilleure. Dans Keras, min_delta fixe l'amélioration absolue requise, tandis que patience compte les epochs sans amélioration suffisante. Une période de warm-up peut retarder le début de la surveillance. [1]

L'arrêt et la sélection du point de contrôle sont deux choix distincts. Avec restore_best_weights=True, le callback restaure les poids correspondant à la meilleure valeur surveillée, selon sa propre règle de comparaison. Si l'option est désactivée, le modèle conserve les derniers poids entraînés. Mieux vaut indiquer ces paramètres explicitement que de supposer qu'un framework effectue la restauration automatiquement. [1]

Séparer la validation du test final

Il faut découper les données avant d'apprendre les transformations, puis ajuster ces transformations sur la seule partition d'entraînement. Les données de validation servent à choisir la patience, la métrique surveillée, les paramètres du taux d'apprentissage et les autres hyperparamètres. Il ne faut ni examiner la perte de test à chaque epoch, ni régler la patience après avoir vu les performances sur le test : dans les deux cas, l'information du jeu de test influence le choix du modèle. [2]

En validation croisée, les données destinées à l'arrêt anticipé doivent rester à l'intérieur de chaque fold d'entraînement ; le fold utilisé pour l'évaluation doit rester séparé. Il est utile de consigner le découpage, la graine aléatoire, l'historique de la métrique, la meilleure epoch et l'epoch d'arrêt. Cette démarche découle en pratique de la nécessité de préserver une évaluation indépendante.

Exemple de séquence d'epochs

Prenons des pertes de validation de 0.42, 0.39, 0.40, 0.395, 0.398 pour les epochs 1 à 5. En minimisation, avec min_delta=0 et patience=3, l'epoch 2 est la meilleure ; les trois epochs suivantes ne l'améliorent pas. L'entraînement s'arrête après l'epoch 5, et la restauration des meilleurs poids ramène à l'epoch 2. Cette séquence est construite pour expliquer la règle ; ce n'est pas un résultat expérimental. [1]

Limites et compte rendu

Des données de validation bruitées ou non représentatives peuvent interrompre l'entraînement trop tôt ou conduire à retenir un point de contrôle trompeur. Un plateau de la métrique peut aussi précéder une amélioration après un changement planifié du taux d'apprentissage. Il faut définir la politique de surveillance avant le test final et aligner sa métrique sur la tâche. Des réglages répétés sur la validation peuvent eux-mêmes surajuster les données de validation. Le modèle retenu doit être évalué sur des données de test restées intactes, et il faut indiquer les deux epochs ainsi que la configuration d'arrêt. Aucune expérience d'entraînement locale n'a été réalisée.

Sources

[1] TensorFlow API: tf.keras.callbacks.EarlyStopping

[2] scikit-learn User Guide: Common Pitfalls and Recommended Practices