Skip to content
検索結果に戻る

半教師あり学習

提唱者
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
年
1970s–2006 (formalized)
種類
Learning paradigm
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

半教師あり学習(SSL)は、少量のラベル付きデータと大量のラベルなしデータを用いてモデルを訓練する機械学習パラダイムです。SSLは、ラベルなしデータに内在する構造を活用することで、完全に教師ありのモデルに近い精度を達成しつつ、はるかに少ないコストで手動ラベリングを行うことができます。これにより、ラベリングが高価、時間がかかる、またはリソースが限られている場合に実用的となります。

手法の背後にある直感

少数の解答付き教科書の例と、大量の未解決問題のライブラリを学生に与えて教えることを想像してみてください。学生は、解答済みの例を使ってパターンを理解し、次に未解決問題を使って、どの例が一緒にクラスターを形成するか、または同様の構造を共有するかを観察することで、その理解を深めます。SSLも同様に機能します。モデルはラベル付きデータから決定境界を学習し、次にラベルなしデータを使用してそれらの境界を鮮明にします。これは、近くの点が同じクラスを共有する可能性が高い、またはデータ多様体が意味のある構造を捉えていると仮定することによって行われます。その結果、ラベルのみで訓練するよりも優れたモデルが得られます。

歴史学

半教師あり学習は、1990年代のVapnikによる転導的SVMの研究や、ZhuとGhahramani (2002)によるグラフベースのラベル伝播の研究から、正式な分野として登場しました。この分野は、Chapelle、Scholkopf、Zien (2006)が編集したMIT Pressの書籍によって統合され、これが現在も標準的な参考文献となっています。現代の深層学習は、MixMatch (2019)やFixMatch (2020)などの一貫性正則化手法を通じてSSLを再活性化し、このパラダイムを大規模な画像およびテキストタスクに拡張しました。

使うべき場面

ラベルなしデータは豊富にあるが、ラベリングが高価、時間がかかる、または希少な専門知識を必要とする場合に半教師あり学習を使用します。これは医療画像処理、自然言語処理、科学分野で一般的です。SSLは、ラベルなしデータとラベル付きデータが同じ分布を共有する場合、クラスターまたは多様体仮説が妥当に成り立つ場合、そして完全教師ありベースラインがすでに実現可能だが、その精度がラベルの不足によって制限されている場合に適切です。ラベル付きデータとラベルなしデータが異なる分布から来る場合(分布シフト)、ラベルなしデータが非常に少ない場合、タスクが十分に単純で少量のラベル付きセットでモデルの能力がすでに飽和している場合、または擬似ラベルのエラーがモデルが修正できるよりも速く蓄積する場合(エントロピーが高い出力や不均衡な出力の場合など)には、SSLを使用しないでください。

限界と注意点

  • ラベルなしデータがクラスターまたは平滑性仮説に違反したり、分布シフトを含んだりする場合、性能が教師ありベースラインを下回る可能性があります。
  • 擬似ラベルのエラーは反復を重ねるごとに蓄積されます。自信があるが間違った予測は、その後の訓練を損ないます。
  • 信頼度閾値、正則化の強度、およびラベル付きデータとラベルなしデータの比率の慎重な調整が必要です。
  • 評価がより困難になります。ラベルなしセットは、厳密に保持されていない限り、モデル選択のために決して使用してはなりません。
  • 特にペアワイズ類似度を必要とするグラフベースの手法では、大規模なラベルなしコーパスで計算コストが増大します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ラベル付きデータが不足しているが、ラベルなしデータが豊富な場合にモデルの精度を大幅に向上させます。
  • アノテーションのコストと時間を削減し、専門家によるラベリングが重要な分野での実用的な展開を可能にします。
  • 擬似ラベリングまたはグラフベースの拡張を介して、ほぼすべてのベース学習器(ニューラルネットワーク、ランダムフォレスト、SVM、GP)と互換性があります。
  • ラベル伝播およびグラフベースの手法は、解釈可能な不確実性と近傍構造を提供します。
  • 自己学習および一貫性正則化は、最小限の追加インフラストラクチャで標準的な訓練パイプラインに自然に統合されます。

応用

  • 専門家によるアノテーションが少なく、ラベルなしスキャンが豊富な医療画像分類。
  • ラベル付きドキュメントが少ない感情分析や固有表現認識などの自然言語処理タスク。
  • 実験的なラベルの取得が高価なタンパク質構造およびゲノミクス研究。
  • 少数のラベル付き欠陥画像と多数のラベルなし生産画像を使用した産業品質管理。
  • 録音の一部しか書き起こせない音声認識および音声分類。
  • 大規模なクロールされたコーパスを使用したウェブコンテンツ分類およびドキュメント分類。

使い方

使い方

1

少量のラベル付きサブセット(通常は全体の数パーセント)と大量のラベルなしサブセットを含むデータセットを収集します。ラベル付きの例は、対象となるクラスまたは結果を代表するものでなければなりません。ラベル付きセットのデータ品質は、最終モデルに大きな影響を与えます。

2

ラベル付きの例のみを使用して初期モデルを訓練します。これにより、ラベル付きデータが少ないため精度は限られますが、ベースラインとなる分類器または回帰器が生成され、ラベルなしデータを活用するための出発点となります。

3

初期モデルをラベルなしデータに適用して、擬似ラベル(予測されたクラス割り当てまたはソフトな確率分布)を生成します。信頼度の高い予測は、暫定的に訓練ラベルとして受け入れられます。一般的なSSLアルゴリズムはここで異なります。自己学習は信頼度の高い予測を受け入れ、ラベル伝播は類似度グラフを介してラベルを伝播し、一貫性正則化は入力摂動下での安定した予測を強制します。

4

元のラベル付きデータと新しく擬似ラベル付けされたラベルなしデータの両方を組み込んでモデルを再訓練します。このプロセスは反復されることがあります。改善されたモデルはより良い擬似ラベルを生成し、それがさらにモデルを改善します。正則化または信頼度閾値は、エラーの蓄積を防ぎます。

5

訓練中または擬似ラベリング中に一度も使用されなかった、保持されたラベル付きテストセットで、標準的な指標(精度、F1、AUC、MSE)を使用して最終モデルを評価します。ラベルなしデータによる改善を定量化するために、ラベルのみで訓練された完全教師ありベースラインと比較します。

よくある落とし穴

  • ラベル付きセットとは異なる分布を持つラベルなしデータを使用すること — 分布の不一致はSSL失敗の最も一般的な原因です。
  • 教師ありのみのベースラインを無視し、ラベルなしデータが実際に役立ったことを検証できないこと。
  • 信頼度閾値を低く設定しすぎ、誤った擬似ラベルで訓練セットを溢れさせること。
  • 擬似ラベリング後にラベルなしプールで評価すること。これは性能推定値を過大評価します。
  • SSLを仮定なしと見なすこと — この手法は、平滑性、クラスター、または多様体仮説が成り立つ場合にのみ役立ちます。

よくある質問

半教師あり学習は自己教師あり学習とどう違うのですか?

半教師あり学習は、少量の人間が提供したラベルとラベルなしデータを使用して、教師ありタスクを改善します。自己教師あり学習は、ラベルなしデータ単独の構造から独自のラベルを作成します(例:マスクされた単語の予測)。事前学習中には人間のラベルは使用されませんが、学習された表現は後でラベル付きデータでファインチューニングされます。

半教師あり学習は、役立つどころか害になるのはどのような場合ですか?

ラベルなしデータがラベル付きデータとは異なる分布から来る場合、またはクラス境界がデータの自然なクラスターと一致しない場合、SSLは教師ありベースラインを下回る精度にノイズを導入する可能性があります。常に教師ありのみのモデルと比較してください。

最初に試すべき最も単純なSSLアルゴリズムは何ですか?

自己学習が最も簡単です。ラベルで訓練し、ラベルなしデータで予測し、信頼度の高い予測をラベル付きデータとして追加し、再訓練します。これはあらゆるベース学習器で機能し、より複雑なグラフベースまたは一貫性正則化手法の前に有用なベースラインとして機能します。

通常、どのくらいのラベル付きデータが必要ですか?

普遍的な答えはありませんが、SSLはラベル付きデータがデータセット全体の1〜10%を占める場合に最も有益です。クラスあたり約10〜50個のラベル付き例を下回ると、SSLでも苦戦する可能性があります。その時点では、どの例にラベルを付けるかを優先するアクティブラーニングの方が効果的かもしれません。

半教師あり学習はあらゆるモデルタイプで使用できますか?

はい。擬似ラベリングと自己学習はあらゆるベース学習器で機能します。ラベル伝播などのグラフベースの手法はモデルに依存しませんが、ペアワイズ類似度の計算が必要です。一貫性正則化手法はニューラルネットワークに最も自然に適用されますが、他の確率モデルにも適応できます。

関連する手法

参考文献

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN:978-0-262-03358-9
    コピーしました。
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    出版物の文献を開く
    コピーしました。