Aprendizado contrastivo autossupervisionado: pares, aumento de dados e colapso

O que o método aprende

O aprendizado contrastivo autossupervisionado treina representações a partir das relações entre visões dos dados, sem exigir rótulos da tarefa para cada exemplo de treinamento. Em um pipeline de imagens no estilo SimCLR, duas visões aumentadas da mesma imagem formam um par positivo; as visões de outras imagens do minibatch funcionam como negativos. Não há garantia de que imagens originais diferentes pertençam a classes semânticas diferentes. Ainda pode ser necessário usar rótulos para avaliar ou adaptar a representação aprendida. [1]

O mecanismo contrastivo

Um encoder mapeia cada visão para uma representação. O SimCLR usa uma projection head adicional para o objetivo contrastivo, enquanto as tarefas downstream usam a representação do encoder. O objetivo favorece o par positivo em relação às visões concorrentes; a temperatura controla como as diferenças de similaridade influenciam a comparação. [1]

Uma interpretação útil combina o alinhamento de visões relacionadas com a dispersão das representações pelo espaço de características normalizado. Esses objetivos ajudam a explicar por que simplesmente tornar todas as representações idênticas não é uma solução útil. Eles não garantem que a geometria aprendida corresponda a uma tarefa downstream específica. [2]

Um fluxo de treinamento prático

Defina a pergunta downstream e separe os dados por entidade de origem antes de gerar as visões aumentadas. Escolha transformações que preservem a informação necessária para essa pergunta. Fixe o encoder, a projection head, a construção dos batches, a temperatura e o orçamento de otimização, e registre essas escolhas junto com a versão do dataset.

Avalie com um protocolo explícito, como um classificador linear treinado sobre representações congeladas ou um fine-tuning completo com um orçamento fixo de dados rotulados. Mantenha os dados de avaliação separados das decisões de desenvolvimento e compare com uma baseline adequada. Indique qual protocolo foi usado, pois a avaliação com representações congeladas e o fine-tuning respondem a perguntas diferentes. [1]

Exemplo ilustrativo de escolha de aumento de dados

Suponha que uma coleção de imagens contenha suportes fabricados. Dois recortes de um mesmo suporte podem formar um par positivo se ambos preservarem as bordas necessárias para distinguir o tipo dele. Um recorte que remova um identificador estampado é inadequado quando a tarefa downstream consiste em ler esse identificador. Mudanças fortes de cor também podem apagar informação quando a cor identifica uma variante. Essas são verificações de projeto hipotéticas, não resultados de um modelo treinado.

Colapso e outros limites

Se o treinamento apenas aproxima os pares positivos, sem outra restrição efetiva, representações idênticas podem se tornar uma solução trivial. Os negativos contrastivos ajudam a combater esse colapso, mas nem todo método autossupervisionado exige pares negativos: o BYOL usa um desenho diferente, com rede online e rede target, sem eles. [2][3]

Outros modos de falha incluem exemplos semanticamente semelhantes tratados como negativos, aumentos destrutivos e atalhos que resolvem a tarefa de treinamento sem gerar transferência útil. Inspecione a diversidade das representações e o desempenho downstream; uma perda de treinamento baixa, por si só, não basta. Este artigo sintetiza fontes primárias e nenhum experimento local de pré-treinamento foi realizado.

Fontes

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent