Label shift : détecter et corriger l'évolution des proportions de classes

Définition

Le label shift survient lorsque les proportions de classes P(Y) changent entre une population source et une population cible, alors que la distribution des entrées conditionnelle à la classe, P(X|Y), reste inchangée. Il s'agit d'un modèle précis de changement de distribution, et non d'une explication générale de toute évolution des données entrantes. La correction n'est valable que si cette hypothèse est appropriée. [1]

Fonctionnement

La méthode Black Box Shift Estimation estime les proportions de classes de la cible à partir de la matrice de confusion d'un classifieur, calculée sur des données sources étiquetées, et des fréquences de classes prédites sur des données cibles non étiquetées. Dans la formulation présentée, chaque classe cible doit être représentée dans la source, et la matrice de confusion doit être inversible. Le prédicteur n'a pas besoin d'être parfaitement exact ni calibré. [1]

La correction a posteriori est une étape distincte : on multiplie les probabilités de classe de la source par les rapports entre a priori cible et a priori source, puis on renormalise. Cela suppose de disposer d'estimations de probabilité adéquates sur la source ; la qualité de la calibration compte pour toute adaptation fondée sur les probabilités. [2]

Démarche pratique

1. Expliciter pourquoi les entrées au sein de chaque classe devraient rester comparables, et identifier les violations plausibles de cette hypothèse.
2. Estimer les a priori de la source et la matrice de confusion sur des observations sources représentatives mises de côté pour l'évaluation, en gardant les correspondances de classes fixes.
3. Collecter une fenêtre cible définie et en estimer les proportions de classes ; examiner le conditionnement numérique et la sensibilité aux variations d'échantillonnage.
4. Comparer une référence non corrigée avec la correction proposée, en utilisant des exemples cibles étiquetés dès qu'ils sont disponibles.

Consigner la fenêtre d'estimation, les poids et les hypothèses à chaque mise à jour du modèle. Des poids instables ou invraisemblables sont une raison d'investiguer, et non une autorisation de forcer un ajustement.

Exemple illustratif

Calcul illustratif, et non résultat estimé d'un déploiement : supposons que la proportion de la classe positive soit de 0,10 dans la source et que la proportion cible soit connue et égale à 0,20. Le poids de la classe positive vaut alors 2 ; celui de la classe négative vaut 0,80/0,90.

Pour une probabilité positive calibrée sur la source de 0,60, la valeur corrigée est (0,60 × 2) / ((0,60 × 2) + (0,40 × 0,80/0,90)), soit environ 0,771. Cet exemple montre comment une modification des cotes a priori change une probabilité a posteriori, sous les hypothèses énoncées. En pratique, la proportion cible doit être estimée ou obtenue à partir d'observations fiables.

Limites et évaluation

Une nouvelle classe absente des données sources viole l'exigence de support. Des changements de formulation, de capteurs ou de procédures de mesure au sein d'une classe peuvent violer l'hypothèse de stabilité de P(X|Y). Les matrices de confusion quasi singulières peuvent amplifier le bruit d'estimation, même lorsqu'elles sont mathématiquement inversibles. [1]

Une surveillance sans étiquettes ne suffit pas à vérifier toutes les hypothèses ni à établir une amélioration de la performance sur la tâche. Il convient d'auditer les étiquettes cibles lorsque c'est possible et d'évaluer, après correction, la calibration, la qualité des décisions et les effets sur les sous-groupes. Il ne faut pas confondre une variation des effectifs de classes prédites avec une évolution avérée des proportions réelles de classes. Aucune expérience d'adaptation locale ni amélioration mesurée n'est revendiquée.

Sources

[1] Detecting and Correcting for Label Shift with Black Box Predictors [2] Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation