対照的自己教師あり学習：ペア、拡張、表現の崩壊

手法が学ぶもの

対照的自己教師あり学習は、全学習例にタスクのラベルを要求する代わりに、データのビュー間の関係を使って表現を学ぶ。SimCLR 型の画像処理では、同じ画像から拡張した二つのビューが正例ペアとなり、ミニバッチ内の他の画像のビューが負例になる。元画像が異なっても、異なる意味的クラスに属するとは限らない。学習した表現の評価や適応には、依然としてラベルが必要な場合がある。 [1]

対照学習の仕組み

エンコーダーは各ビューを表現へ写像する。SimCLR は対照目的のために追加の射影ヘッドを使い、下流タスクにはエンコーダーの表現を用いる。目的関数は競合ビューに対して正例ペアを優先し、温度は類似度の差が比較に与える影響を調整する。 [1]

有用な解釈として、関連ビューの整列と、正規化された特徴空間への表現の広がりを組み合わせて考えられる。これらの目的は、すべての表現を同一にするだけでは有用な解にならない理由を説明する。ただし学習した幾何構造が特定の下流タスクに適することを証明するものではない。 [2]

実用的な学習手順

下流の問いを定義し、拡張ビューを作る前に元のエンティティ単位でデータを分割する。その問いに必要な情報を保持する変換を選ぶ。エンコーダー、射影ヘッド、バッチ構成、温度、最適化予算を固定し、データセットの版とともに記録する。

凍結した表現の上で線形分類器を学習する方法や、一定のラベル付きデータ予算で全体を微調整する方法など、明示した手順で評価する。評価データを開発上の判断から分離し、適切な基準モデルと比較する。凍結評価と微調整では答える問いが異なるため、使用した手順を明示する。 [1]

説明用の拡張選択

画像集に製造されたブラケットがあるとする。同じブラケットの二つの切り抜きは、種類を区別するために必要な輪郭を両方が残す場合、正例ペアになり得る。刻印された識別子を読む下流タスクでは、その識別子を消す切り抜きは不適切である。色が製品の種類を示す場合、強い色変更も情報を消し得る。これは仮想的な設計確認であり、学習済みモデルの結果ではない。

表現の崩壊とその他の制約

他に有効な制約がないまま正例ペアを近づけるだけなら、すべて同一の表現が自明な解になり得る。対照学習の負例はこうした崩壊を抑える助けになるが、すべての自己教師あり手法が負例ペアを必要とするわけではない。BYOL はオンラインネットワークとターゲットネットワークを用いる別の設計で、負例ペアを使わない。 [2][3]

意味的に近い例を負例扱いすること、情報を壊す拡張、有用な転移を伴わず学習課題だけ解く近道も失敗要因になる。表現の多様性と下流性能を調べる。低い学習損失だけでは不十分である。本記事は一次資料の統合であり、ローカルな事前学習実験は行っていない。

出典

[1] Chen et al. (2020): A Simple Framework for Contrastive Learning of Visual Representations

[2] Wang and Isola (2020): Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

[3] Grill et al. (2020): Bootstrap Your Own Latent