Confident Learning : auditer la qualité des étiquettes par une revue ciblée

Définition

Confident Learning est un cadre méthodologique pour identifier les étiquettes de classification bruitées et apprendre malgré elles. Il estime les relations entre les étiquettes observées et les étiquettes sous-jacentes inconnues, à l'aide d'une formulation du bruit conditionnel à la classe. Dans un flux d'audit, sa sortie sert à hiérarchiser les exemples à inspecter ; un exemple signalé n'est pas automatiquement une erreur d'annotation avérée. [1]

Fonctionnement

Un détecteur combine l'étiquette enregistrée de chaque exemple avec les probabilités prédites par un modèle pour chaque classe. Confident Learning utilise des seuils de confiance propres à chaque classe pour estimer les confusions d'étiquettes probables et repérer les exemples suspects. Ses garanties théoriques reposent sur des hypothèses explicites.

Cleanlab recommande d'utiliser des probabilités hors échantillon, généralement produites par validation croisée, et peut renvoyer les problèmes classés selon des scores de qualité d'étiquette. Les colonnes de probabilités doivent suivre le même ordre de classes que les étiquettes encodées. Des prédictions en échantillon peuvent masquer des erreurs que le modèle a mémorisées. [2]

Flux de travail pratique

1. Versionner le jeu de données, les définitions des étiquettes et la correspondance entre classes et colonnes.
2. Générer les probabilités sans entraîner le modèle sur l'exemple évalué ; lors du découpage, respecter les groupes d'entités et les contraintes temporelles.
3. Classer les problèmes candidats et fixer un budget de revue, en y incluant quelques exemples non signalés à titre de comparaison.
4. Demander aux relecteurs d'appliquer les règles d'annotation et de consigner l'étiquette d'origine, la décision, l'étiquette corrigée le cas échéant et la raison.
5. Ne ré-entraîner qu'après avoir documenté les modifications acceptées ; évaluer sur un jeu de test géré séparément.

Conserver les exemples ambigus et difficiles tant que leur statut n'est pas tranché. Supprimer tous les cas de désaccord avec le modèle peut éliminer des cas valides.

Exemple illustratif

Exemple illustratif, et non un audit mesuré : un ticket de support est étiqueté « billing » (facturation). Un modèle attribue les probabilités 0,08 à billing, 0,86 à account access (accès au compte) et 0,06 à software defects (défauts logiciels). Le message indique que le client ne parvient pas à se connecter pour consulter une facture.

C'est un bon candidat à la revue, mais l'étiquette correcte dépend de ce que la taxonomie suit : l'obstacle immédiat ou l'objectif final du client. Un relecteur peut corriger l'étiquette, la conserver ou demander des consignes plus claires. Relire les cinquante tickets les mieux classés est un choix de charge de travail, et non l'affirmation que le détecteur a trouvé cinquante erreurs réelles.

Limites et évaluation

La faiblesse du modèle, le chevauchement des classes et des cas rares mais valides peuvent provoquer des désaccords. Les hypothèses de bruit conditionnel à la classe peuvent ne pas tenir lorsque les erreurs dépendent fortement de l'entrée au sein de chaque classe. [1]

Indiquer combien de candidats ont été examinés, confirmés, rejetés ou laissés ambigus. Un échantillon relu tiré uniquement des problèmes les mieux classés ne permet pas d'établir le taux d'erreur de l'ensemble du jeu de données. Garder les corrections d'étiquettes traçables, et ne pas nettoyer un benchmark de façon répétée au profit du modèle évalué. Aucun audit local d'étiquettes ni aucune expérience d'entraînement n'est revendiqué.

Sources

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering