Few-Shot Text Classification
- 種類
- NLP text-classification task (low-resource)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Few-shot text classificationは、クラスごとに数個のラベル付きサンプルのみを使用して文書をクラスに割り当てる手法である。Gaoら (2021) の進歩やTunstallら (2022) によるプロンプトフリーのSetFitアプローチを基盤とし、プロトタイプネットワーク、MAML、または大規模事前学習済みモデルのファインチューニングを活用して、少ないラベルから学習する。
手法の背後にある直感
ほとんどの分類器は大規模なラベル付き訓練セットを必要とするが、テキストへのラベル付けはコストがかかり、クラスごとに数個のサンプルしか存在しない場合がある。Few-shot text classificationは、言語を既に理解しているモデル、すなわち大規模事前学習済みモデルから開始し、各クラスに数個のサンプルを与えるだけで、そのモデルを目的のクラスへと誘導することでこの問題を回避する。全てのクラスをゼロから学習するのではなく、新しい文書を少数のラベル付きプロトタイプと比較したり、事前学習済みモデルをわずかに適応させたりすることで、クラスあたりの1つのサンプルでも決定を導くことができる。
歴史学
Few-shot text classificationは、言語に適用されたfew-shotおよびメタ学習研究から生まれた。Gaoら (2021) は、事前学習済み言語モデルをより優れたfew-shot学習者にする方法を示し、Tunstallら (2022) は、プロンプトなしで効率的なfew-shot学習を実現するSetFitを導入し、少数のラベル付きセットと強力な事前学習済みバックボーンでこのアプローチを実用的なものにした。
使うべき場面
ラベル付けがコスト高く、クラスごとに数個のラベル付きサンプルしか存在しない場合に、Few-shot text classificationを使用する。これは、各クラスに少なくとも1つのサンプルが存在することを前提としており、大規模な事前学習済みモデルが利用可能で、不足している知識を供給できる場合に最も効果的である。ラベル付きデータが豊富にある場合は、通常の教師あり分類器の方が単純な選択肢となる。
限界と注意点
- 各クラスに少なくとも1つのラベル付きサンプルが必要であり、完全に未知のクラスは予測できない。
- 性能は事前学習済みバックボーンの品質に大きく依存する。弱かったり不一致だったりするモデルは性能を制限する。
- 極端に少ないサンプルでは、予測が不安定になり、選択されたサンプルに敏感になる可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ごく少数のラベル付きサンプル(クラスあたり1つ程度)から学習する。これは、従来の教師あり分類器が失敗する領域である。
- 大規模事前学習済みモデル内の広範な言語知識を再利用するため、タスク固有のデータはほとんど必要ない。
- 戦略間の柔軟性:プロトタイプネットワーク、MAML、または軽量ファインチューニングのいずれも同じパイプラインに適合する。
応用
- ラベル付けがコスト高く、カテゴリごとに数個のサンプルしか利用できない場合のテキスト分類。
- 大規模なラベル付けが行われる前に、新しいドメインまたはラベルセットの分類器をブートストラップすること。
- ラベルが少ない状況での研究および運用設定におけるテキスト分類の迅速なプロトタイピング。
- 新しい、疎にラベル付けされたクラスを持つ既存のスキームを拡張すること。
使い方
使い方
クラスごとに少なくとも1つのサンプルを含む少数のラベル付きセットを組み立てる。これが、手法が学習するサポートセットとなる。このセットが小さいほど、手法は事前学習済みモデル内部に既に存在する知識に依存するようになる。
大規模事前学習済みモデルがバックボーンとして選択される。なぜなら、それは広範な言語知識を既にエンコードしているからである。強力な事前学習済みモデルが好ましい。そのモデルが事前に言語について多くを知っていればいるほど、各クラスは少ないサンプルから学習する必要性が少なくなる。
バックボーンは、数少ないサンプルを用いた戦略のいずれかによって目的のクラスへと誘導される。プロトタイプネットワークは、数少ないサンプルからクラスプロトタイプを構築し、最も近いプロトタイプによって分類する。MAMLは、迅速に適応する初期パラメータをメタ学習する。ファインチューニングは、少数のサンプルで事前学習済みモデルをわずかに更新する。
新しい各文書は、適応されたモデルによってエンコードされ、クラスラベルが割り当てられる。これは、最も近いプロトタイプまたはファインチューニングされた分類器ヘッドによって行われる。訓練データが少ないにもかかわらず、文書ごとに1つの予測ラベルが得られる。
よくある落とし穴
- ゼロ個のラベル付きサンプルを持つクラスを学習可能として扱うこと。全てのクラスには少なくとも1つのサンプルが必要である。
- 手法を、事前学習済み設定が依存する事前知識を除去する、小規模または不適切な事前学習済みモデルと組み合わせること。
- ごく少数のサポートセットから精度を過大評価すること。サンプルが非常に少ないため、評価推定値はノイズが多い。
よくある質問
クラスあたりいくつのサンプルが本当に必要か?
クラスあたり少なくとも1つのラベル付きサンプルが必要であり、手法はクラスあたり数個で機能するように設計されている。提供するサンプルが少ないほど、事前学習済みバックボーンの事前知識に依存するようになる。
どのfew-shot戦略を使用すべきか?
プロトタイプネットワークは、数個のサンプルからクラスごとにプロトタイプを構築し、最も近いプロトタイプで分類する。MAMLは、新しいタスクに迅速に適応するパラメータをメタ学習する。ファインチューニングは、少数のサンプルで事前学習済みモデルをわずかに更新する。これら3つはいずれも同じパイプラインに適合する。プロンプトフリーのSetFitスタイルのファインチューニングは実用的なデフォルトである。
なぜ事前学習済みモデルがそれほど重要なのか?
ラベル付きサンプルが数個しかない場合、知識のほとんどはどこか別の場所から来る必要がある。大規模な事前学習済みモデルは広範な言語理解を提供するので、より強力なバックボーンは一般的に優れたfew-shot結果をもたらす。
通常の教師あり分類器を代わりにいつ優先すべきか?
ラベル付きデータが豊富にある場合。Few-shot手法は低ラベル領域のために存在する。大規模でバランスの取れたラベル付きセットがあれば、標準的な教師ありテキスト分類器の方が単純で、通常は強力である。