Ensembles d'entraînement, de validation et de test : à quoi sert chaque partition et comment la découper

Ce que c'est

Le guide utilisateur de scikit-learn décrit l'arrangement standard : un modèle évalué sur les lignes sur lesquelles il a été ajusté obtient un bon score et ne dit rien des données non vues, si bien qu'une partie des données est mise de côté comme ensemble de test. Comme les hyperparamètres sont réglés en observant des scores, un réglage effectué contre l'ensemble de test laisse fuir dans le modèle une connaissance de celui-ci ; le guide introduit donc une troisième partie, l'ensemble de validation, sur laquelle les choix sont faits, et précise qu'un ensemble de test doit malgré tout être mis de côté pour l'évaluation finale même quand la validation croisée remplace l'ensemble de validation. Dans la validation croisée à k plis, les données d'entraînement sont divisées en k parties et chaque partie sert une fois de validation, si bien que toutes les lignes d'entraînement contribuent à l'estimation de sélection de modèle.

Pourquoi c'est important

Les chiffres rapportés à partir de l'ensemble de test sont les seuls qui estiment le comportement en production, et ils ne le font que si les lignes de test ressemblent à celles que le modèle rencontrera et n'ont jamais servi à une quelconque décision. Un ensemble de test consulté dix fois pendant le développement est un ensemble de validation portant un nom trompeur.

Comment l'appliquer

• Découper une fois, tôt, avant toute exploration, et conserver la découpe (identifiants de lignes ou graine avec le code de découpe exact) avec le projet.
• Utiliser train_test_split(..., stratify=y) pour la classification afin que les classes rares apparaissent dans chaque partie dans la même proportion ; l'API documente le paramètre stratify à cet effet.
• Découper par groupe (GroupKFold) lorsque plusieurs lignes proviennent d'une même entité, comme un patient, un client ou un document, afin qu'aucune entité n'apparaisse des deux côtés.
• Découper par temps (TimeSeriesSplit ou une date de coupure fixe) lorsque le modèle prédira l'avenir ; une découpe aléatoire de données ordonnées dans le temps entraîne sur demain et teste sur hier.
• Évaluer sur l'ensemble de test une seule fois, à la fin, et consigner le chiffre avec la version du modèle ; si une nouvelle itération est nécessaire, considérer l'ancien score de test comme dépensé.

Pièges

Les doublons ou quasi-doublons répartis entre les partitions gonflent les scores. Un ensemble de test minuscule donne une estimation ponctuelle avec une large incertitude ; rapporter un intervalle, pas seulement le chiffre. Les scores de validation croisée sont des scores de sélection de modèle et ne peuvent pas remplacer le résultat de test mis de côté.