Skip to content
検索結果に戻る

自己教師あり学習

提唱者
LeCun, Y. and community (formalized ~2018–2020)
年
2018–2020
種類
Representation learning paradigm
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

自己教師あり学習(SSL)は、ラベルなしデータから直接、補助的な前置タスク(マスクされた単語の予測、画像の回転、拡張されたビューの対比など)を定義することにより、独自の教師信号を生成し、学習された表現を、最小限のラベル付きサンプルで下流タスクの強力な出発点として使用する機械学習パラダイムである。

手法の背後にある直感

現実世界のデータのほとんどはラベルなしである。自己教師あり学習は、この豊富さをトレーニングリソースに変えるために、データ自体のみを使用して解決する課題を発明する――例えば、文の一部を隠して、モデルにそれを予測させる。その課題を解決することは、モデルに豊かな内部表現を構築することを強制する。表現が十分に良くなれば、少量のラベル付きデータのみでモデルを特定のタスクに適応させることができ、アノテーションコストを劇的に削減できる。

歴史学

ラベルなしデータからの学習という概念はディープラーニング以前から存在したが、自己教師あり学習という名前のパラダイムは、NLPにおけるBERT(Devlin et al., 2018)やコンピュータビジョンにおけるMoCo / SimCLRとともに、2018年から2020年頃に顕著になった。Yann LeCunは2022年にSSLを「知性のダークマター」と表現し、その用語とビジョンを提唱した。今日、それは事実上すべての大規模言語モデルとビジョン基盤モデルの基盤となっている。

使うべき場面

ターゲットドメインに大量のラベルなしデータがあるが、ラベリングが高価または時間がかかる場合に自己教師あり学習を選択する――これは、医療画像、NLP、衛星画像、科学データで一般的である。大規模な基盤モデル(BERT, GPT, DINO)を構築する場合や、下流のラベル付きセットが小さい場合には標準的なアプローチである。ラベルなしコーパスが小さすぎる(数千サンプル未満)、前置タスクが下流タスクと一致しない、または計算リソースが著しく制約されている場合はSSLを避ける――そのような場合は、利用可能なラベルでの教師あり学習または公開チェックポイントからの従来の転移学習の方が実用的である。

限界と注意点

  • 大規模モデルの事前トレーニングには、かなりの計算量(数日から数週間のGPU/TPU)と大規模なラベルなしコーパスが必要である。
  • 前置タスクの設計は単純ではなく、不適切なタスク選択は転送性の低い表現を生成する可能性がある。
  • ファインチューニングの安定性は、学習率と凍結解除されたレイヤー数に敏感である可能性がある。
  • 評価は間接的である:前置タスクのパフォーマンスが下流タスクのパフォーマンスを保証するわけではない。
  • 事前トレーニングコーパスとターゲットドメイン間のドメインギャップが、ゲインを制限する可能性がある。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 膨大な量のラベルなしデータを活用し、大規模コーパスの事前トレーニングにおいて最もスケーラブルなアプローチとなる。
  • わずかなファインチューニングデータで多くの下流タスクにうまく転送される汎用的な表現を生成する。
  • データ構造から教師信号を生成する(人間のラベルではなく)ことで、アノテーションコストを劇的に削減する。
  • 最先端の基盤モデル(BERT, GPT, DINO, MAE)はすべて自己教師あり目的関数に基づいて構築されている。
  • クロスモーダル前置タスク(例:CLIP)を設計することにより、マルチモーダルデータを自然に処理する。
  • ファインチューニングなしで、検索、クラスタリング、異常検出に有用なリッチな埋め込みを生成する。

応用

  • NLPタスク(分類、質問応答など)のための大規模言語モデル(BERT, GPT, T5)の事前トレーニング。
  • 画像認識、セグメンテーション、検索のためのビジョン基盤モデル(DINO, MAE, SimCLR)。
  • ラベル付きスキャンは少ないがラベルなし画像は豊富にある医療画像解析。
  • ASRおよび話者検証のための音声およびオーディオ表現学習(wav2vec, HuBERT)。
  • 創薬のための分子およびタンパク質表現学習(ChemBERTa, ESM)。
  • ラベル付き異常なしでの埋め込み類似性による異常検出および検索。

使い方

使い方

1

前置(補助)タスクは、そのラベルがデータ構造自体から無料で得られるように設計される――例えば、テキストにおけるマスクされたトークン予測(BERT)、ビデオにおける次のフレーム予測、または同じ画像の異なる拡張ビュー間の類似性の最大化(SimCLR, MoCo)。この段階では人間のアノテーションは必要ない。

2

ニューラルエンコーダは、各入力 x を密な表現 z = f(x; theta) にマッピングする。エンコーダのアーキテクチャはモダリティによって異なる:テキストとビジョンにはTransformer、オーディオには畳み込みネットワーク、分子データにはグラフニューラルネットワーク。この表現が、下流タスクに知識を伝達するものである。

数式
z = f_{\theta}(x)
3

モデルは、前置タスクをどの程度うまく解決したかを測定する損失を最小化するようにトレーニングされる――マスクされた予測のためのクロスエントロピー、ビューの一致のための対照損失(InfoNCE)、またはオートエンコーダの再構築誤差。この損失を最小化することは、有用な意味構造を捉えるように表現を形成する。

4

事前トレーニングが収束したら、エンコーダの重みは下流タスクに転送される。軽量な分類または回帰ヘッドがアタッチされ、モデル全体(またはヘッドのみ)が少量のラベル付きデータセットでファインチューニングされ、はるかに多くのラベル付きデータでトレーニングされた完全に教師ありモデルと同等の精度を達成する。

よくある落とし穴

  • 下流タスクの意味論との整合性を考慮せずに前置タスクを選択すること。
  • 小さすぎる、またはターゲットドメインを代表しないラベルなしコーパスを使用し、貧弱な表現を生成すること。
  • 高い学習率で全てのレイヤーをファインチューニングし、事前トレーニングされた表現を壊滅的に忘却すること。
  • 直接的な教師あり学習と比較した事前トレーニングの価値をアブレーションせずに、ファインチューニング後の下流精度のみを報告すること。
  • 対照学習法におけるデータ拡張設計を無視すること。これは表現の品質にとって重要である。

よくある質問

自己教師あり学習と教師なし学習の違いは何ですか?

どちらもラベルなしデータを使用するが、自己教師あり学習はデータ構造から特定の教師信号(例:マスクされたトークン、拡張ビュー)を構築し、定義された損失関数でトレーニングする。従来の教師なし学習(クラスタリング、PCA)は、明示的な予測目的なしに構造を見つける。

最初から事前トレーニングする必要がありますか、それとも既存のチェックポイントを使用できますか?

ほとんどの応用プロジェクトでは、公開されているチェックポイント(例:Hugging FaceのBERT、MetaのDINO)をファインチューニングする方が、最初から事前トレーニングするよりもはるかに実用的である。最初から事前トレーニングするのは、ドメインが高度に専門化されており(例:臨床テキスト)、既存のチェックポイントの転送性が低い場合にのみ正当化される。

どのくらいのラベルなしデータが必要ですか?

事前トレーニングには多ければ多いほど良いが、効果的なドメイン固有のSSLは、小規模モデルでは数万のラベルなし例で実証されている。閾値は、モデルサイズと前置タスクの複雑さに大きく依存する。

対照的前置タスクとは何ですか?

対照的前置タスク(SimCLR, MoCo)は、同じサンプルの2つの異なる拡張ビューを作成し、エンコーダが表現空間でビューが類似し、他のサンプルからの表現とは異なるようにトレーニングする。これにより、モデルは意味内容を保持しながら拡張に対する不変性を学習する。

自己教師あり学習は表形式データに適していますか?

はい、画像やテキストよりもゲインは小さいですが。SCARF、TabNetの事前トレーニング、マスクされた特徴予測などのアプローチは、ラベル付き表形式データが少ない場合に利点を示していますが、妥当なラベルが入手可能な典型的な表形式データセットでは、教師ありアンサンブル法が依然として支配的です。

関連する手法

参考文献

  1. LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

    出版物の文献を開く
    コピーしました。
  2. Self-supervised learning. Wikipedia.

    出版物の文献を開く
    コピーしました。