대조적 자기지도 학습: 쌍, 증강, 표현 붕괴

방법이 학습하는 것

대조적 자기지도 학습은 모든 학습 예제에 작업 라벨을 요구하는 대신 데이터 뷰 사이의 관계로 표현을 학습한다. SimCLR 방식의 이미지 파이프라인에서는 같은 이미지의 증강 뷰 두 개가 양성 쌍을 이루고, 미니배치의 다른 이미지 뷰가 음성 예제로 쓰인다. 원본 이미지가 다르다고 의미적 클래스까지 다른 것은 아니다. 학습한 표현을 평가하거나 적응시킬 때는 여전히 라벨이 필요할 수 있다. [1]

대조 메커니즘

인코더는 각 뷰를 표현으로 매핑한다. SimCLR는 대조 목적함수에 추가 투영 헤드를 사용하고, 후속 작업은 인코더 표현을 사용한다. 목적함수는 경쟁 뷰에 비해 양성 쌍을 우선하며, 온도는 유사도 차이가 비교에 미치는 영향을 조절한다. [1]

유용한 해석은 관련 뷰를 정렬하면서 정규화된 특성 공간에 표현을 넓게 분포시키는 것이다. 이 목적들은 모든 표현을 동일하게 만드는 것만으로는 유용한 해가 되지 않는 이유를 설명한다. 다만 학습된 기하 구조가 특정 후속 작업과 맞는다고 보증하지는 않는다. [2]

실용적인 학습 절차

후속 질문을 정의하고 증강 뷰를 만들기 전에 원본 개체 기준으로 데이터를 나눈다. 질문에 필요한 정보를 보존하는 변환을 선택한다. 인코더, 투영 헤드, 배치 구성, 온도, 최적화 예산을 정하고 데이터셋 버전과 함께 기록한다.

고정한 표현 위에서 선형 분류기를 학습하거나, 일정한 라벨 데이터 예산으로 전체를 미세 조정하는 등 명시된 절차로 평가한다. 평가 데이터는 개발 결정과 분리하고 적절한 기준 모델과 비교한다. 고정 표현 평가와 전체 미세 조정은 서로 다른 질문에 답하므로 사용한 절차를 밝힌다. [1]

설명용 증강 선택

제조된 브래킷 사진 모음이 있다고 하자. 같은 브래킷을 두 번 잘라 낸 뷰는 두 이미지 모두 종류 구분에 필요한 모서리를 보존한다면 양성 쌍이 될 수 있다. 후속 작업이 각인된 식별자를 읽는 것이라면 식별자를 없애는 자르기는 부적절하다. 색상이 제품 변형을 구분한다면 강한 색상 변경도 정보를 지울 수 있다. 이는 가상의 설계 점검이며 학습된 모델의 결과가 아니다.

붕괴와 다른 한계

다른 효과적인 제약 없이 양성 쌍만 가까이 당긴다면 동일한 표현이 자명한 해가 될 수 있다. 대조 음성 예제는 이러한 붕괴에 저항하는 데 도움이 되지만, 모든 자기지도 방법에 음성 쌍이 필요한 것은 아니다. BYOL은 온라인 네트워크와 타깃 네트워크를 쓰는 다른 설계로 음성 쌍 없이 학습한다. [2][3]

의미가 비슷한 예제를 음성으로 처리하거나, 증강이 정보를 파괴하거나, 유용한 전이 없이 학습 과제만 해결하는 지름길도 실패 원인이다. 표현의 다양성과 후속 성능을 확인해야 하며 낮은 학습 손실만으로는 충분하지 않다. 이 글은 일차 출처를 종합했으며 로컬 사전 학습 실험은 수행하지 않았다.

출처

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent