Gradient boosting par histogrammes : bins, valeurs manquantes et limites des variables catégorielles

Principe de la méthode

Le gradient boosting par histogrammes construit un ensemble d'arbres en regroupant les valeurs des variables numériques dans un nombre limité de bins. La recherche des coupures porte sur ces bins et non sur chaque valeur distincte. Chaque arbre successif met à jour l'ensemble afin de réduire son objectif d'entraînement. C'est un candidat pratique pour la classification et la régression sur données tabulaires, en particulier lorsque la recherche exacte des coupures devient coûteuse. La vitesse et la précision dépendent néanmoins du jeu de données. [1]

Fonctionnement des bins et des valeurs manquantes

Le binning réduit le nombre de seuils candidats et permet d'agréger efficacement l'information de gradient. Dans scikit-learn, max_bins autorise au plus 255 bins pour les valeurs non manquantes ; un bin supplémentaire représente les valeurs manquantes. Un nombre de bins plus faible peut réduire le niveau de détail numérique. [1][2]

Les valeurs manquantes n'exigent pas automatiquement une imputation : l'arbre apprend, à chaque coupure, s'il faut les diriger vers la gauche ou vers la droite. Si une variable ne comportait aucune valeur manquante à l'entraînement, une valeur manquante rencontrée au moment de la prédiction suit l'enfant qui contient le plus d'échantillons. La prise en charge native ne permet pas de déterminer pourquoi les données sont manquantes. [2]

Un flux de travail reproductible

Créez des partitions d'entraînement, de validation et de test final qui respectent les frontières temporelles et les frontières d'entité. Ajustez le prétraitement et l'estimateur sur les données d'entraînement, puis choisissez les paramètres du modèle par la validation. Identifiez explicitement les colonnes catégorielles : des codes entiers seuls ne doivent pas imposer par inadvertance un ordre continu.

Pour scikit-learn, chaque variable catégorielle peut contenir au plus max_bins catégories distinctes. Les catégories inconnues au moment de la prédiction sont traitées comme manquantes ; les codes de catégorie numériques négatifs le sont aussi. Consignez la version de la bibliothèque, les types de colonnes, les correspondances de catégories et les conventions pour les valeurs manquantes. Réglez ensemble le taux d'apprentissage, la complexité des arbres et le nombre d'itérations. [1][2]

Exemple illustratif

Supposons un jeu de données de colis contenant la distance, le poids du colis, 40 catégories de dépôts et quelques poids manquants. Un modèle à histogrammes pourrait conserver le poids comme variable numérique avec valeurs manquantes et le dépôt comme variable catégorielle. Avec max_bins=64, les 40 catégories de dépôts respectent la limite documentée. Un identifiant de transporteur distinct, avec 500 catégories, la dépasserait et nécessiterait une autre représentation ou un autre modèle. Ce sont des exemples de conception, pas des résultats mesurés. [2]

Limites et évaluation

Comparez l'erreur de validation, le temps d'entraînement et le pic de mémoire à ceux d'une base de référence plus simple, en utilisant les mêmes partitions. Examinez séparément les catégories rares, les motifs de valeurs manquantes et le traitement des catégories jamais vues. Des bins trop grossiers peuvent masquer des seuils utiles ; les catégories à forte cardinalité peuvent dépasser les limites natives. Un comportement lié aux valeurs manquantes, appris à partir d'un processus de collecte donné, peut cesser de fonctionner si ce processus change. Indiquez le nombre de bins retenu et les hypothèses sur les données en production. Cet article est une synthèse de la documentation ; aucune expérience d'entraînement locale n'a été réalisée.

Sources

[1] scikit-learn User Guide: Histogram-Based Gradient Boosting

[2] scikit-learn API: HistGradientBoostingClassifier