Skip to content
検索結果に戻る

Few-shot Learning

提唱者
Lake, B. M.; Vinyals, O.; Finn, C. et al.
年
2011–2017
種類
Meta-learning / low-data learning paradigm
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

Few-shot Learning(少数ショット学習)は、大規模で関連性の高い訓練分布から獲得した事前知識を活用し、通常1つから5つ程度の少数のラベル付きサンプルから新しいクラスを認識したり新しいタスクを解決したりするようにモデルを訓練する機械学習のパラダイムです。これは、ラベル付けが高価であったり、希少であったり、構造的に制限されているドメインで特に重要です。

手法の背後にある直感

人間は、長年の経験から得た豊かな視覚的知識を持っているため、単一の写真から新しい鳥の種を確実に識別できます。Few-shot Learningは、この能力を計算論的に再現しようとします。まず、モデルは多くの多様なタスクにさらされて迅速に学習する方法を学び、次に推論時に、ごくわずかなラベル付きサポートセットのみを使用して、まったく新しいタスクに適応します。重要な洞察は、適切な表現と適応戦略が、標準的な教師あり学習に必要な大規模なラベル付きデータセットを代替できるということです。

歴史学

少数ショット学習は、2011年頃にLakeらが高階ベイズプログラム誘導モデルを使用した手書き文字の人間レベルのワンショット学習を実証したときに正式な注目を集めました。この分野は、2016年以降、VinyalsらによるMatching NetworksやSnellらによるPrototypical Networksなどのディープメトリック学習アプローチによって加速され、2017年のFinnらによるモデルに依存しないメタ学習(MAML)が続き、勾配ベースの高速適応の下でパラダイムを統一しました。その後、大規模な事前訓練済みモデルにより、少数ショット学習は現代のNLPおよび画像システムにおける標準的な機能となりました。

使うべき場面

ターゲットタスクのラベル付きデータが本当に希少である場合(クラスあたり約10〜20サンプル未満)が、事前訓練またはメタ訓練のために大規模な関連データセットが利用可能な場合に、少数ショット学習を使用してください。典型的なユースケースには、希少疾患の分類、絶滅危惧種の認識、低リソース言語タスク、コールドスタートユーザーのパーソナライズされたレコメンデーションが含まれます。ラベル付けが可能な場合に、より多くのラベル付きデータを収集する代替手段として使用しないでください。十分なラベルがあれば、完全に教師あり学習またはファインチューニングされた転移学習が、ほぼ常に少数ショットの方法よりも優れたパフォーマンスを発揮します。また、メタ訓練分布がターゲットドメインと大きく異なる場合は回避してください。これは学習済みの事前知識を無効にするためです。

限界と注意点

  • 大規模で多様なメタ訓練セットが必要です。メタ訓練とターゲット分布が大きく乖離すると、パフォーマンスが急激に低下します。
  • 最適化ベースの方法(例:MAML)は、二階微分勾配のため、メタ訓練中に計算集約的です。
  • 標準データセット(miniImageNet、Omniglot)でのベンチマーク精度は、テストドメインが異なる場合、実際のパフォーマンスを過大評価する可能性があります。
  • 適切なアーキテクチャ、埋め込みバックボーン、およびエピソードサンプリング戦略の選択には、自明ではないハイパーパラメータの決定が必要です。
  • クラスあたり約20を超えるラベル付きサンプルがある場合、標準的な転移学習またはファインチューニングは、通常、より少ない複雑さでより優れた精度を提供します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • クラスあたり1つから5つのラベル付きサンプルからの実用的な学習を可能にし、アノテーションコストを劇的に削減します。
  • エピソード的訓練は、モデルが直面する低データデプロイメントシナリオを明示的に準備します。
  • メトリックベースのバリアント(Prototypical Networks、Matching Networks)は、推論時に計算負荷が軽量です(勾配ステップは不要)。
  • 画像、NLP、音声、構造化データタスクに広く適用可能です。
  • 大規模な事前訓練済みモデルと自然に統合され、完全なファインチューニングなしで強力な事前知識を活用できます。

応用

  • アノテーションされた症例が本質的に希少である、医療画像における希少疾患または異常分類。
  • 新しい言語またはドメインでの意図検出などの、低リソース自然言語処理タスク。
  • 新しいユーザーのインタラクションが非常に少ない場合の、レコメンデーションシステムにおけるコールドスタートパーソナライゼーション。
  • 生態学および生物多様性モニタリングにおける、絶滅危惧種または細粒種認識。
  • 訓練のために少数の欠陥サンプルしか利用できない場合の、産業における欠陥検出。
  • ロボット工学およびインタラクティブ機械学習における新しい分類タスクの迅速なプロトタイピング。

使い方

使い方

1

訓練はエピソードに編成され、各エピソードは少数ショットのシナリオをシミュレートします。各エピソードでは、訓練プールから少数のクラスがサンプリングされ、モデルはそれらを区別することを学ぶ必要があります。このエピソード的訓練は、モデルの事前知識が特定のクラスの丸暗記ではなく、迅速な適応のために構造化されていることを保証します。

2

各エピソードは、そのサンプルをサポートセット(モデルが使用できる少数のラベル付きサンプル)とクエリセット(モデルがどれだけうまく一般化できたかを測定するために使用される、保持されたサンプル)に分割します。k-shot、n-wayタスクは、n個の新しいクラスそれぞれにk個のラベル付きサンプルを提供します。この構造は、訓練時のデプロイメントシナリオを反映しています。

3

モデルは、通常はディープニューラルネットワークである埋め込み関数を学習し、入力を特徴空間にマッピングします。この特徴空間では、同じクラスのサンプルがクラスター化され、異なるクラスのサンプルが分離されます。この共有表現の品質が、下流の少数ショット精度を決定する主な要因です。

4

テスト時には、モデルはクエリ埋め込みとサポート埋め込み間の類似性を計算する(Matching NetworksやPrototypical Networksなどのメトリックベースの方法)か、サポートセットに適応するために数回の勾配ステップを実行します(MAMLなどの最適化ベースの方法)。どちらの戦略も、最初から再訓練することなく学習済み表現を利用します。

5

クエリセットでの損失は、エピソード全体でメタ学習者のパラメータを更新するために使用されるため、表現と適応戦略が全体的に改善されます。デプロイメント時には、最終モデルは数秒で任意の新しいサポートセットに適応し、さらなる最適化なしに未知のクエリサンプルに対して予測を行います。

よくある落とし穴

  • 少数ショット学習とゼロショット学習の混同:少数ショットは、テスト時に新しいクラスごとに少なくとも1つのラベル付きサンプルを必要とします。
  • メタ訓練中に見たテストクラスで評価すること。これにより、報告された精度が誇張されます。
  • ドメインギャップの無視:ImageNetでメタ訓練されたモデルは、ドメイン適応なしでは医療組織学に自動的に一般化しません。
  • エピソード的訓練なしで標準的な教師あり損失を使用し、少数ショット一般化を期待すること。
  • 複数のエピソード描画にわたる分散を隠す、信頼区間なしのトップ1精度のみを報告すること。

よくある質問

少数ショット学習と転移学習の違いは何ですか?

転移学習は、新しいタスクで事前訓練済みモデルをファインチューニングし、通常は数十から数千のラベル付きサンプルから利益を得ます。少数ショット学習は、エピソード的メタ訓練を使用して、1クラスあたりわずか1〜5サンプルの適応に特化して設計されており、モデルは特定のドメインに適合する方法ではなく、迅速に一般化する方法を学習します。

k-shot n-wayとはどういう意味ですか?

エピソードの構造を表します。n-wayは同時に提示されるn個の新しいクラスを意味し、k-shotはクラスごとにk個のラベル付きサンプルが提供されることを意味します。5-way 1-shotタスクは、モデルが各クラスの単一のラベル付きサンプルのみを与えられたクエリ画像を5つのカテゴリのいずれかに分類するように求めます。

少数ショット学習を実行するためにGPUが必要ですか?

メタ訓練、特にMAMLのような最適化ベースの方法は、かなりの計算量を必要とし、通常はGPUで実行されます。ただし、メトリックベースの推論(クエリ埋め込みとサポートプロトタイプの比較)は軽量であり、バックボーンが事前訓練されれば、本番環境のCPUで実行できます。

いくつのメタ訓練タスクが必要ですか?

絶対数よりも多様性に依存します。多様なクラスプールからエピソード的にサンプリングされた数千のエピソードタスクが一般的なベースラインです。最も重要なのは、メタ訓練クラスが、未知のターゲットクラスに一般化するのに十分な数と多様性を持っていることです。

少数ショット学習はゼロショット学習と同じですか?

いいえ。ゼロショット学習は、テスト時に新しいクラスのラベル付きサンプルをまったく必要とせず、完全に意味的なクラス記述子または属性に依存します。少数ショット学習は、常にサポートセット内の新しいクラスごとに少なくとも1つのラベル付きサンプルを提供します。

関連する手法

参考文献

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    出版物の文献を開く
    コピーしました。
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    出版物の文献を開く
    コピーしました。