Apprentissage actif par pool : échantillonnage par incertitude sans évaluation biaisée

Ce que fait l'apprentissage actif par pool

L'apprentissage actif par pool (pool-based) consiste à choisir, parmi des exemples non étiquetés existants, ceux qui recevront une étiquette en priorité. On part d'un jeu initial étiqueté et d'un pool non étiqueté plus vaste : on entraîne un modèle, on sélectionne des requêtes, on obtient les étiquettes, puis on recommence. L'objectif est d'employer l'effort d'annotation de façon efficace. Cette approche ne garantit pas de réduire le nombre d'étiquettes nécessaires pour toutes les tâches, et elle se distingue de la génération de requêtes synthétiques comme de l'attribution automatique de pseudo-étiquettes. [1]

Fonctionnement de l'échantillonnage par incertitude

Une stratégie par incertitude donne la priorité aux exemples dont l'étiquette prédite est incertaine. En classification binaire probabiliste, les probabilités proches de 0,5 sont les candidates typiques. En multiclasse, on peut aussi retenir un faible écart entre les deux plus grandes probabilités de classe, ou une entropie prédictive élevée. Ces critères ne classent pas nécessairement les exemples multiclasses dans le même ordre. [1]

Le score reflète l'état courant du modèle ; il ne constitue pas une preuve objective d'utilité. Un modèle à la fois sûr de lui et dans l'erreur peut passer à côté de zones informatives, tandis que des exemples ambigus ou corrompus peuvent rester incertains même après annotation. La sélection par lots doit en outre tenir compte de la redondance et de la couverture.

Une boucle d'annotation pratique

Avant toute acquisition, mettez de côté des données de validation et de test final représentatives, auxquelles la politique de sélection n'a pas accès. Constituez un jeu initial qui couvre les classes et les conditions d'exploitation plausibles. Entraînez le modèle, calculez les scores sur le pool éligible, sélectionnez un lot et faites-le étiqueter par des annotateurs qualifiés selon des règles documentées. Retirez du pool les exemples acquis, ajoutez leurs étiquettes à l'entraînement, puis répétez. Suivez les désaccords entre annotateurs et les étiquettes indisponibles, au lieu de les convertir silencieusement en exemples négatifs. [1]

Tenez un journal d'expérience contenant les identifiants sélectionnés, les versions du modèle, les scores de requête, les graines aléatoires, les révisions d'étiquettes et l'effort d'annotation. Utilisez la validation pour choisir la stratégie et le budget d'arrêt.

Exemple d'allocation

Supposons que 200 étiquettes initiales soient disponibles pour classer des demandes de support, et que le tour suivant autorise 50 annotations. Une politique expérimentale pourrait en consacrer 40 à des demandes incertaines et diversifiées, et 10 à des demandes tirées au hasard. Ce mélange est un choix de conception donné à titre d'illustration, et non un ratio optimal démontré. Comparez-le à une politique qui acquiert 50 demandes aléatoires, avec le même jeu initial et un jeu d'évaluation indépendant. Aucune amélioration n'est présupposée.

Biais de sélection et évaluation

Les étiquettes choisies activement ne suivent généralement pas la distribution de la population. Les performances mesurées sur ces exemples sélectionnés ne peuvent donc pas servir d'estimation représentative des performances en production. Des travaux montrent aussi que le biais de sélection ne nuit pas forcément à l'entraînement du modèle ; le corriger n'est pas automatiquement bénéfique pour tout algorithme d'apprentissage. [2]

Comparez les courbes d'apprentissage à celles d'une acquisition aléatoire à budgets d'étiquettes équivalents, et indiquez le temps d'annotation réel lorsque les exemples difficiles coûtent davantage. Répétez l'expérience avec différents jeux initiaux lorsque c'est possible. Réservez le test final à la procédure retenue et rapportez le comportement sur les classes minoritaires en plus de la métrique agrégée. Ce workflow repose sur les sources citées ; il ne s'agit pas d'une expérience menée localement.

Sources

[1] Burr Settles: Active Learning Literature Survey

[2] Farquhar, Gal and Rainforth (2021): On Statistical Bias in Active Learning