Kontrastives Self-Supervised Learning: Paare, Augmentierung und Kollaps

Was die Methode lernt

Kontrastives Self-Supervised Learning trainiert Repräsentationen anhand der Beziehungen zwischen Datenansichten, statt für jedes Trainingsbeispiel Task-Labels zu verlangen. In einer Bildpipeline nach SimCLR-Art bilden zwei augmentierte Ansichten desselben Bildes ein positives Paar; Ansichten anderer Bilder im Minibatch dienen als Negative. Dabei ist nicht garantiert, dass verschiedene Quellbilder zu verschiedenen semantischen Klassen gehören. Labels können weiterhin nötig sein, um die gelernte Repräsentation zu evaluieren oder anzupassen. [1]

Der kontrastive Mechanismus

Ein Encoder bildet jede Ansicht auf eine Repräsentation ab. SimCLR verwendet für das kontrastive Ziel zusätzlich einen Projection Head, während nachgelagerte Aufgaben die Repräsentation des Encoders nutzen. Das Ziel bevorzugt das positive Paar gegenüber den konkurrierenden Ansichten; die Temperatur bestimmt, wie stark sich Unterschiede in der Ähnlichkeit auf den Vergleich auswirken. [1]

Eine nützliche Interpretation verbindet die Ausrichtung (Alignment) zusammengehöriger Ansichten mit einer Streuung der Repräsentationen über den normalisierten Merkmalsraum. Diese Ziele tragen dazu bei zu erklären, warum es keine brauchbare Lösung ist, einfach alle Repräsentationen identisch zu machen. Dass die gelernte Geometrie zu einer bestimmten nachgelagerten Aufgabe passt, belegen sie jedoch nicht. [2]

Ein praktischer Trainingsablauf

Zuerst die nachgelagerte Fragestellung definieren und die Daten nach Quellobjekt trennen, bevor augmentierte Ansichten erzeugt werden. Transformationen wählen, die die für diese Fragestellung nötigen Informationen erhalten. Encoder, Projection Head, Batch-Zusammenstellung, Temperatur und Optimierungsbudget festlegen und diese Entscheidungen zusammen mit der Version des Datensatzes dokumentieren.

Die Evaluation nach einem klar benannten Protokoll durchführen, etwa mit einem linearen Klassifikator auf eingefrorenen Repräsentationen oder mit vollständigem Fine-Tuning bei festem Budget an gelabelten Daten. Evaluationsdaten von Entwicklungsentscheidungen getrennt halten und mit einer geeigneten Baseline vergleichen. Das verwendete Protokoll angeben, denn Evaluation mit eingefrorenen Repräsentationen und Fine-Tuning beantworten unterschiedliche Fragen. [1]

Beispiel zur Wahl der Augmentierung

Angenommen, eine Bildsammlung enthält gefertigte Halterungen. Zwei Ausschnitte (Crops) derselben Halterung können ein positives Paar bilden, wenn beide die Kanten erhalten, die zur Unterscheidung ihres Typs nötig sind. Ein Ausschnitt, der eine eingestanzte Kennung entfernt, ist ungeeignet, wenn die nachgelagerte Aufgabe diese Kennung liest. Auch starke Farbveränderungen können Informationen löschen, wenn die Farbe eine Variante kennzeichnet. Dies sind hypothetische Entwurfsprüfungen, keine Ergebnisse eines trainierten Modells.

Kollaps und weitere Grenzen

Wenn das Training positive Paare nur zusammenzieht und keine andere wirksame Nebenbedingung existiert, können identische Repräsentationen zu einer trivialen Lösung werden. Kontrastive Negative tragen dazu bei, diesem Kollaps entgegenzuwirken, sind aber nicht bei jeder Self-Supervised-Methode erforderlich: BYOL kommt mit einem anderen Aufbau aus Online- und Target-Netzwerk ohne sie aus. [2][3]

Weitere Fehlerquellen sind semantisch ähnliche Beispiele, die als Negative behandelt werden, destruktive Augmentierungen und Abkürzungen (Shortcuts), die die Trainingsaufgabe lösen, ohne nützlich übertragbar zu sein. Die Vielfalt der Repräsentationen und die Leistung auf der nachgelagerten Aufgabe prüfen; ein niedriger Trainingsverlust allein genügt nicht. Dieser Artikel fasst Primärquellen zusammen; ein eigenes Pretraining-Experiment wurde nicht durchgeführt.

Quellen

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent