Importance par permutation avec des variables corrélées : interpréter un score faible

Ce que mesure l'importance par permutation

L'importance par permutation mesure la variation du score d'un modèle déjà entraîné lorsqu'on mélange aléatoirement, entre les observations, la colonne d'une variable. Le modèle n'est pas ré-entraîné. Pour un score où une valeur plus élevée est meilleure, l'importance est le score initial moins le score moyen obtenu après permutation. Une baisse plus forte indique une dépendance plus grande du modèle à la variable, pour cette perturbation précise. Le résultat est propre à un modèle, à un jeu de données et à une métrique ; ce n'est pas une propriété intrinsèque de la variable. [1]

Une procédure de mesure pratique

Commencez par vérifier que le modèle prédit de façon satisfaisante sur des données mises de côté, non utilisées pour l'entraînement. Fixez la fonction de score, puis calculez le score initial et permutez à plusieurs reprises chaque variable. Indiquez l'importance moyenne et sa dispersion sur l'ensemble des permutations, ainsi que le nombre de répétitions et la graine aléatoire. Cette dispersion décrit la variabilité due au mélange pour ce modèle entraîné et ce jeu de données ; elle ne couvre pas toute l'incertitude liée à la collecte des données ou au ré-entraînement. [1]

Si l'analyse sert à sélectionner des variables, utilisez des données de validation et conservez un jeu de test final distinct. Notez si la permutation porte sur les colonnes brutes, à travers un pipeline complet, ou sur les colonnes transformées.

Pourquoi la corrélation modifie l'interprétation

Des prédicteurs corrélés peuvent contenir des informations qui se recoupent. Mélanger l'un d'eux peut n'entraîner qu'une faible baisse du score, car le modèle entraîné s'appuie encore sur un autre prédicteur porteur d'une information similaire. Cela dépend du modèle : la corrélation ne garantit pas une faible importance. La permutation peut aussi produire des combinaisons de valeurs absentes des données réelles. [1][2]

L'exemple de scikit-learn étudie le regroupement des variables corrélées (clustering), la conservation d'un représentant par groupe, puis le ré-entraînement. Cela répond à une autre question que l'inspection du modèle d'origine : comment se comporte un modèle nouvellement entraîné sur un ensemble réduit de variables. [2]

Exemple illustratif

Supposons un modèle de prédiction de pannes de machines qui utilise deux capteurs de température presque identiques. De faibles valeurs d'importance individuelles ne prouvent pas que la température soit sans pertinence. Comme diagnostic complémentaire, mélangez les deux colonnes de capteurs avec la même permutation de lignes. L'appariement entre ces deux colonnes reste intact, tandis que leur relation conjointe avec les autres lignes est rompue. Comparer cette perturbation de groupe aux perturbations individuelles peut révéler une dépendance partagée. Il s'agit d'un diagnostic proposé, non d'un résultat mesuré ; le regroupement modifie néanmoins l'interprétation.

Limites et conclusions responsables

Indiquez la perturbation, les groupes de variables et la métrique avec tout classement. Une importance proche de zéro ou négative peut refléter la variabilité d'échantillonnage, une information redondante ou un modèle qui exploite mal la variable. Elle ne suffit pas à justifier automatiquement la suppression de la variable. Validez toute suppression en ré-entraînant le modèle et en comparant les résultats sur des données d'évaluation indépendantes. Ni la permutation individuelle ni la permutation groupée n'établissent l'effet causal d'une modification d'une variable du monde réel. Cet article est une synthèse fondée sur des sources ; aucune expérience locale n'a été réalisée.

Sources

[1] scikit-learn User Guide: Permutation Feature Importance

[2] scikit-learn Example: Permutation Importance with Multicollinear or Correlated Features