Mise à l'échelle des variables et encodage des catégories : quoi transformer, et ajuster uniquement sur les données d'entraînement

Ce que c'est

Le guide de prétraitement de scikit-learn indique que la standardisation (soustraire la moyenne, diviser par l'écart-type, StandardScaler) est une exigence courante pour de nombreux estimateurs, qui peuvent se comporter mal lorsque les variables ne sont pas à peu près centrées avec une variance unitaire ; MinMaxScaler ramène les valeurs à une plage fixe et RobustScaler utilise des estimations plus robustes du centre et de l'étendue (par défaut la médiane et l'écart interquartile) pour des données comportant de nombreuses valeurs aberrantes. Pour les catégories, OneHotEncoder transforme une colonne à n valeurs en n colonnes binaires, OrdinalEncoder affecte des entiers (pertinent uniquement lorsque l'ordre est réel), et TargetEncoder utilise la moyenne de la cible conditionnée à la valeur catégorielle, ce que le guide décrit comme utile pour les variables à forte cardinalité, où des colonnes one-hot feraient exploser l'espace des variables. La page consacrée aux pièges ajoute la règle qui gouverne tout cela : ne jamais appeler fit sur les données de test ; le transformateur apprend ses statistiques à partir des lignes d'entraînement, puis est appliqué à tout le reste.

Pourquoi c'est important

Les modèles qui utilisent des distances (k plus proches voisins, SVM, k-moyennes), des pénalités sur les coefficients (ridge, lasso, régression logistique) ou la descente de gradient (réseaux de neurones) traitent une variable exprimée en mètres et une autre en millimètres comme ayant une importance différente d'un facteur mille. L'encodage détermine si un modèle peut même utiliser une catégorie, et si une catégorie rare fait échouer l'inférence.

Comment l'appliquer

• Les modèles à base d'arbres sont invariants à une mise à l'échelle monotone ; mettre à l'échelle pour tout le reste, et systématiquement lorsqu'une pénalité est appliquée.
• One-hot pour une faible cardinalité et les modèles linéaires ; encodage ordinal uniquement pour des niveaux réellement ordonnés ; encodage par cible pour de nombreux niveaux, en utilisant fit_transform, qui, selon le guide, repose sur un schéma interne de validation croisée pour empêcher la cible de fuiter dans la représentation d'entraînement.
• Définir handle_unknown sur les encodeurs afin qu'une catégorie observée pour la première fois en production produise une sortie définie plutôt qu'une exception.
• Regrouper le normaliseur, l'encodeur et le modèle dans un seul Pipeline (avec ColumnTransformer pour des colonnes mixtes), afin que fit et transform ne puissent pas être appliqués aux mauvaises lignes.
• Conserver le pipeline ajusté comme un seul artefact ; un modèle servi avec un normaliseur différent de celui utilisé à l'entraînement est un bug silencieux.

Pièges

Mettre à l'échelle avant la séparation fait fuiter les statistiques de test dans l'entraînement. Des codes ordinaux appliqués à des catégories nominales inventent un ordre que le modèle exploitera. Appliquer une transformation logarithmique à une variable comportant des zéros ou des valeurs négatives échoue ; utiliser log1p ou un décalage, et le documenter.