Aprendizaje autosupervisado contrastivo: pares, aumento de datos y colapso

Qué aprende el método

El aprendizaje autosupervisado contrastivo entrena representaciones a partir de las relaciones entre vistas de los datos, sin necesitar etiquetas de la tarea para cada ejemplo de entrenamiento. En un pipeline de imágenes al estilo SimCLR, dos vistas aumentadas de la misma imagen forman un par positivo; las vistas de las demás imágenes del minibatch actúan como negativos. No está garantizado que imágenes de origen distinto pertenezcan a clases semánticas distintas. Aun así, pueden hacer falta etiquetas para evaluar o adaptar la representación aprendida. [1]

El mecanismo contrastivo

Un codificador (encoder) transforma cada vista en una representación. SimCLR emplea además una cabeza de proyección para el objetivo contrastivo, mientras que las tareas posteriores usan la representación del codificador. El objetivo favorece el par positivo frente a las vistas que compiten con él; la temperatura determina cómo influyen las diferencias de similitud en la comparación. [1]

Una interpretación útil combina la alineación de las vistas relacionadas con una dispersión de las representaciones por todo el espacio de características normalizado. Estos dos objetivos ayudan a explicar por qué hacer idénticas todas las representaciones no es una solución útil. Pero no garantizan que la geometría aprendida se ajuste a una tarea posterior concreta. [2]

Un flujo de trabajo de entrenamiento práctico

Define primero la pregunta de la tarea posterior y separa los datos por entidad de origen antes de generar las vistas aumentadas. Elige transformaciones que conserven la información que esa pregunta necesita. Fija el codificador, la cabeza de proyección, la construcción de los lotes, la temperatura y el presupuesto de optimización, y registra estas decisiones junto con la versión del conjunto de datos.

Evalúa con un protocolo explícito, por ejemplo un clasificador lineal entrenado sobre representaciones congeladas, o un ajuste fino (fine-tuning) completo con un presupuesto fijo de datos etiquetados. Mantén los datos de evaluación separados de las decisiones de desarrollo y compara con una línea base adecuada. Indica qué protocolo se usó, porque la evaluación con representaciones congeladas y el ajuste fino responden a preguntas distintas. [1]

Ejemplo ilustrativo de elección de aumentos

Supón una colección de imágenes de soportes (brackets) fabricados. Dos recortes de un mismo soporte pueden formar un par positivo si ambos conservan los bordes necesarios para distinguir su tipo. Un recorte que elimine un identificador estampado no es adecuado si la tarea posterior consiste en leer ese identificador. Del mismo modo, los cambios fuertes de color pueden borrar información cuando el color identifica una variante. Son comprobaciones de diseño hipotéticas, no resultados de un modelo entrenado.

Colapso y otros límites

Si el entrenamiento solo acerca los pares positivos sin otra restricción eficaz, las representaciones idénticas pueden convertirse en una solución trivial. Los negativos contrastivos ayudan a contrarrestar este colapso, pero no todos los métodos autosupervisados requieren pares negativos: BYOL usa un diseño distinto, con una red en línea y una red objetivo, y prescinde de ellos. [2][3]

Otros modos de fallo son tratar como negativos ejemplos semánticamente similares, aplicar aumentos destructivos y los atajos que resuelven la tarea de entrenamiento sin una transferencia útil. Conviene inspeccionar la diversidad de las representaciones y el rendimiento en la tarea posterior; una pérdida de entrenamiento baja no basta por sí sola. Este artículo sintetiza fuentes primarias y no se realizó ningún experimento local de preentrenamiento.

Fuentes

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent