視覚的対照学習
- 提唱者
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- 年
- 2020
- 種類
- Self-supervised deep representation learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
視覚的対照学習は、SimCLR (Chen et al., 2020) や MoCo (He et al., 2020) のようなフレームワークで普及した自己教師あり深層学習アプローチであり、同じ画像の異なる拡張を近づけ、異なる画像を遠ざけることによって、ラベルなしで豊かな画像表現を学習します。これは、大量のラベルなし画像を有用な特徴抽出器に変換します。
手法の背後にある直感
単一の写真を2つの異なる方法でクロップ、色変更、または反転させても、両方のバージョンは依然として同じものとして認識できるはずです。対照学習はまさにこのアイデアに基づいています。これは、ネットワークに1つの画像の2つの拡張ビューを特徴空間で互いに近づけ、他の画像のビューを互いに遠ざけるように教えます。人間のラベルは必要ありません。教師信号は、画像を互いに比較することから完全に得られます。
歴史学
視覚的対照学習は2020年に急速に成熟しました。SimCLR (Chen et al., ICML 2020) は、強力な拡張、プロジェクションヘッド、NT-Xent対照的損失の単純なフレームワークが教師あり事前学習に匹敵することを示しました。MoCo (He et al., CVPR 2020) は、モーメンタム更新されたエンコーダーと負の動的キューを導入し、大規模な対照学習を巨大なバッチなしで実現可能にしました。BYOLのような後続のアプローチは、明示的な負のペアなしで学習することにより、このファミリーを拡張しました。
使うべき場面
大量のラベルなし画像コレクション(少なくとも約1000枚)があり、ラベル付きタスクの前に強力な視覚表現を学習したい場合に、それを使用してください。これは、そのようなラベルなしデータセットが利用可能であることを前提とし、GPUを必要とし、適切に選択されたデータ拡張戦略に大きく依存します。約500〜1000枚未満では、負のペアが少なすぎて類似しすぎているため、有用な表現を学習できず、教師あり古典的機械学習の方が安全な選択肢です。
限界と注意点
- 大量のラベルなし画像データセットが必要です。小規模なデータセットでは、意味のある表現を生成できません。
- 事前学習にはGPUとかなりの計算能力が必要です。
- パフォーマンスはデータ拡張戦略に依存し、ドメインごとに調整する必要があります。
- 約500枚未満では、自己教師あり学習は失敗し、教師あり古典的機械学習が好ましいです。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベルなし画像から有用な視覚表現を学習し、コストのかかる手動アノテーションの必要性をなくします。
- 事前学習されたエンコーダーは、少量のラベル付きデータセットで多くのダウンストリームタスクに転送されます。
- SimCLRやMoCoのようなフレームワークは、よく研究された再現可能なレシピを提供します。
- MoCoのモーメンタムエンコーダーと負のキューは、巨大なバッチなしで多くの負の比較を可能にします。
応用
- 大規模なラベルなし写真コレクションでの画像エンコーダーの事前学習。
- 限定的なラベルでのダウンストリーム画像分類への転送学習。
- ビジョンパイプラインのための再利用可能な視覚的特徴抽出器の構築。
- ラベルが少ない、または高価なドメインでの表現学習。
使い方
使い方
各画像は、クロッピング、色むら、反転などのランダムな拡張によって2回変換され、2つの関連するビューが生成されます。拡張戦略の選択は重要です。これは、モデルが「同じ」と見なすように求められるものを定義し、弱すぎる、または不適切に選択された拡張は、弱い表現につながります。
エンコーダーは各ビューを埋め込みにマッピングし、対照的な目的関数は同じ画像の2つのビュー(正のペア)を互いに近づけ、他の画像のビュー(負のペア)を互いに遠ざけます。SimCLRは温度パラメータ付きのNT-Xent損失を使用します。MoCoは、多くの比較を巨大なバッチなしで利用できるように、モーメンタム更新されたエンコーダーと負のキューを維持します。
数式
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}自己教師あり事前学習の後、学習されたエンコーダーは一般的な視覚的特徴抽出器として再利用されます。その後、少量のラベル付きデータセットで、軽量な分類器をファインチューニングまたはトレーニングするのに十分であり、表現をダウンストリームタスクに転送します。
よくある落とし穴
- 負のペアの多様性が不十分な、非常に小さな画像セットでの対照的事前学習の試み。
- 弱い、またはドメインに不適切な拡張の使用。これにより、学習された表現が崩壊します。
- 対照的損失における温度パラメータの無視。
- GPUなし、または十分なトレーニング時間なしで良好な結果を期待すること。
よくある質問
ラベルは必要ですか?
いいえ。対照的自己教師あり学習の全体的な目的は、ラベルなし画像から表現を学習することです。ラベルは、後で、少量のダウンストリームファインチューニングまたは評価セットにのみ必要です。
画像は何枚必要ですか?
少なくとも約1000枚のラベルなし画像を計画してください。約500〜1000枚未満では、負のペアの多様性が低すぎて、メソッドが意味のある表現を学習できず、教師あり古典的機械学習の方が安全な選択肢です。
SimCLRとMoCoの違いは何ですか?
SimCLRは、多くの負のサンプルを提供するために大きなバッチに依存し、NT-Xent損失を使用します。MoCoは代わりに、モーメンタム更新されたエンコーダーと過去の埋め込みのキューを負のサンプルとして保持するため、バッチ内での比較が少なくて済みます。
データ拡張はなぜそれほど重要なのですか?
拡張は、画像のどの変換されたビューをモデルが同じと見なすべきかを定義します。強力で適切に選択された拡張戦略は重要です。弱い拡張は弱い表現をもたらします。