Apprentissage auto-supervisé contrastif : paires, augmentation et effondrement

Ce que la méthode apprend

L'apprentissage auto-supervisé contrastif entraîne des représentations à partir des relations entre des vues des données, sans exiger d'étiquettes de tâche pour chaque exemple d'entraînement. Dans un pipeline d'images de type SimCLR, deux vues augmentées d'une même image forment une paire positive ; les vues des autres images du minibatch servent de négatifs. Rien ne garantit que des images sources différentes appartiennent à des classes sémantiques différentes. Des étiquettes peuvent toutefois rester nécessaires pour évaluer ou adapter la représentation apprise. [1]

Le mécanisme contrastif

Un encodeur associe une représentation à chaque vue. SimCLR utilise une tête de projection supplémentaire pour l'objectif contrastif, tandis que les tâches aval s'appuient sur la représentation de l'encodeur. L'objectif favorise la paire positive par rapport aux vues concurrentes ; sa température détermine la manière dont les écarts de similarité influent sur la comparaison. [1]

Une interprétation utile combine l'alignement des vues liées et une répartition étalée des représentations sur l'espace de caractéristiques normalisé. Ces objectifs aident à comprendre pourquoi rendre simplement toutes les représentations identiques ne constitue pas une solution utile. Ils ne garantissent pas que la géométrie apprise corresponde à une tâche aval donnée. [2]

Un workflow d'entraînement pratique

Définissez la question aval et séparez les données par entité source avant de générer les vues augmentées. Choisissez des transformations qui préservent l'information nécessaire à cette question. Fixez l'encodeur, la tête de projection, la construction des batchs, la température et le budget d'optimisation, puis consignez ces choix avec la version du jeu de données.

Évaluez selon un protocole explicite, par exemple un classifieur linéaire entraîné sur des représentations figées, ou un fine-tuning complet avec un budget fixe de données étiquetées. Gardez les données d'évaluation séparées des décisions de développement et comparez à une référence appropriée. Indiquez le protocole utilisé, car l'évaluation sur représentations figées et le fine-tuning répondent à des questions différentes. [1]

Exemple de choix d'augmentation

Supposons qu'une collection d'images contienne des supports manufacturés. Deux recadrages d'un même support peuvent former une paire positive si tous deux conservent les arêtes nécessaires pour distinguer son type. Un recadrage qui supprime un identifiant estampé ne convient pas lorsque la tâche aval consiste à lire cet identifiant. De même, de fortes modifications de couleur peuvent effacer de l'information lorsque la couleur distingue une variante. Il s'agit de vérifications de conception hypothétiques, et non de résultats d'un modèle entraîné.

Effondrement et autres limites

Si l'entraînement se contente de rapprocher les paires positives sans autre contrainte efficace, des représentations identiques peuvent devenir une solution triviale. Les négatifs contrastifs aident à contrer cet effondrement, mais toutes les méthodes auto-supervisées n'exigent pas de paires négatives : BYOL repose sur une autre conception, avec un réseau en ligne et un réseau cible, sans négatifs. [2][3]

Parmi les autres modes de défaillance figurent les exemples sémantiquement proches traités comme des négatifs, les augmentations destructrices et les raccourcis qui permettent de résoudre la tâche d'entraînement sans transfert utile. Examinez la diversité des représentations et les performances en aval : une faible perte d'entraînement ne suffit pas. Cet article est une synthèse de sources primaires ; aucune expérience locale de préentraînement n'a été réalisée.

Sources

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent