Validation croisée imbriquée : évaluer le processus de sélection de modèle

Définition

La validation croisée imbriquée (nested cross-validation) évalue une procédure d'apprentissage qui inclut la sélection d'hyperparamètres. Les plis externes mesurent la performance sur des données non vues ; les plis internes choisissent les réglages en utilisant uniquement la partition d'entraînement externe. Présenter le meilleur score de réglage comme résultat final peut récompenser un bruit d'échantillonnage favorable et conduire à surestimer la performance attendue. L'imbrication sépare ces deux rôles. [1][2]

Fonctionnement

À chaque itération externe, mettre de côté une partition pour l'évaluation. Exécuter la recherche complète de paramètres sur les observations restantes, au moyen d'une boucle de validation croisée interne. Réajuster le pipeline retenu sur l'ensemble de cette partition d'entraînement externe, puis l'évaluer une seule fois sur la partition réservée. Répéter jusqu'à ce que chaque partition externe ait été évaluée.

La mise à l'échelle, l'imputation et la sélection de variables doivent être ajustées à l'intérieur des plis d'entraînement concernés. Une étape de prétraitement ajustée avant le découpage peut provoquer une fuite d'information, même si l'estimateur recourt à la validation imbriquée. [3]

Démarche pratique

1. Définir avant toute comparaison des résultats la population de déploiement, la métrique principale, les réglages candidats et le budget de recherche.
2. Choisir des découpeurs externe et interne qui respectent les groupes d'entités ou l'ordre temporel lorsque c'est nécessaire.
3. Garder ensemble le prétraitement et l'estimateur ; conserver chaque score externe ainsi que les réglages sélectionnés à l'intérieur de ce pli.
4. Résumer les résultats externes, figer la procédure, puis répéter son étape de réglage sur les données de développement disponibles pour ajuster le modèle final.

Conserver un jeu de test réellement intact si une évaluation finale distincte est requise.

Exemple illustratif

Calcul illustratif, et non une expérience : une équipe compare douze réglages de paramètres avec cinq plis externes et trois plis internes. Cela représente 5 × 12 × 3 = 180 ajustements candidats, auxquels s'ajoutent cinq réajustements externes. L'entraînement ultérieur du modèle final vient en plus.

Supposons que deux plis externes retiennent des forces de régularisation différentes. Ce n'est pas forcément un défaut : chaque recherche a vu des observations d'entraînement différentes. Il faut consigner cette instabilité plutôt que de remplacer les deux choix par le réglage qui a obtenu par hasard le meilleur score sur les données d'évaluation externes.

Limites et évaluation

Indiquer les scores par pli, la taille du jeu de données, les règles de découpage et le coût de calcul. Les scores des plis partagent des observations d'entraînement ; leur écart-type n'est donc pas automatiquement un intervalle de confiance. Un petit jeu de données peut malgré tout produire une estimation bruitée.

L'estimation porte sur la procédure de sélection à la taille d'entraînement externe et ne constitue pas une garantie pour l'artefact final ajusté. Remanier la recherche de façon répétée après avoir examiné les scores externes réutilise en outre l'information d'évaluation. Des plis aléatoires imbriqués ne corrigent ni une fuite temporelle, ni des entités dupliquées, ni une population de déploiement non représentative. [1][2]

Sources

[1] scikit-learn: Nested versus non-nested cross-validation [2] On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation [3] scikit-learn: Common pitfalls and recommended practices