Контрастивное самообучение: пары, аугментации и коллапс представлений

Что изучает метод

Контрастивное самообучение учит представления на отношениях между видами данных, не требуя целевой метки для каждого обучающего примера. В обработке изображений по схеме SimCLR два аугментированных вида одного изображения образуют положительную пару, а виды других изображений в мини-батче служат отрицательными. Разные исходные изображения не обязательно относятся к разным семантическим классам. Метки всё ещё могут требоваться для оценки или адаптации выученного представления. [1]

Контрастивный механизм

Энкодер переводит каждый вид в представление. SimCLR использует дополнительную проекционную голову для контрастивной цели, а последующие задачи используют представление энкодера. Целевая функция предпочитает положительную пару конкурирующим видам; температура определяет влияние различий сходства на сравнение. [1]

Полезная интерпретация объединяет сближение связанных видов и распределение представлений по нормированному пространству признаков. Эти цели объясняют, почему одинаковые представления для всех примеров не дают полезного решения. Однако они не удостоверяют соответствие выученной геометрии конкретной последующей задаче. [2]

Практический процесс обучения

Определите последующую задачу и разделите данные по исходным сущностям до создания аугментированных видов. Выберите преобразования, сохраняющие нужную для задачи информацию. Зафиксируйте энкодер, проекционную голову, составление батчей, температуру и бюджет оптимизации, затем запишите их вместе с версией данных.

Оценивайте по указанному протоколу: например, линейным классификатором на замороженных представлениях либо полным дообучением при фиксированном бюджете размеченных данных. Отделяйте оценочные данные от решений разработки и сравнивайте с подходящей базовой моделью. Указывайте протокол, поскольку оценка замороженных представлений и полное дообучение отвечают на разные вопросы. [1]

Иллюстративный выбор аугментации

Предположим, коллекция изображений содержит изготовленные кронштейны. Два кадрирования одного кронштейна могут образовать положительную пару, если оба сохраняют грани, необходимые для различения типа. Кадрирование, убирающее выбитый идентификатор, непригодно, когда последующая задача читает этот идентификатор. Сильные изменения цвета также могут уничтожить информацию, если цвет обозначает вариант изделия. Это гипотетические проектные проверки, а не результаты обученной модели.

Коллапс и другие ограничения

Если обучение лишь сближает положительные пары без другого эффективного ограничения, одинаковые представления могут стать тривиальным решением. Контрастивные отрицательные примеры противодействуют коллапсу, но отрицательные пары нужны не всем методам самообучения: BYOL использует другую схему с онлайн- и целевой сетями без таких пар. [2][3]

Другие сбои включают семантически сходные примеры, считающиеся отрицательными, разрушительные аугментации и обходные пути, решающие обучающую задачу без полезного переноса. Проверяйте разнообразие представлений и качество последующей задачи: одной низкой обучающей потери недостаточно. Статья синтезирует первичные источники; локальный эксперимент по предобучению не проводился.

Источники

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent