Skip to content
検索結果に戻る

ファインチューニングされたBERTベースの分類

提唱者
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
年
2019
種類
Pre-trained transformer fine-tuned for classification
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ファインチューニングされたBERTベースの分類は、軽量な出力層を追加し、ラベル付きサンプルで勾配ベースのトレーニングを継続することにより、事前学習されたBERTトランスフォーマーを特定のテキスト分類タスクに適合させます。感情分析、トピック分類、意図検出、その他のNLP分類タスクにおいて、比較的小さなラベル付きデータセットで、常に最先端に近い精度を達成します。

手法の背後にある直感

BERTは、膨大な量のラベルなしテキストで事前学習され、言語の豊かな文脈表現を学習します。ファインチューニングは、単純な分類ヘッドを上に接続し、ラベル付きサンプルでモデル全体(またはヘッドのみ)をトレーニングすることにより、その一般的な知識を再利用します。BERTはすでに構文、意味論、および世界の知識を理解しているため、モデルはゼロからニューラル分類器をトレーニングする場合よりもはるかに少ないラベル付きサンプルを必要とし、より高い精度に、より迅速に収束します。[CLS]トークンの表現は、分類器が読み取る文レベルの要約を抽出します。

歴史学

BERT(Bidirectional Encoder Representations from Transformers)は、Google AIによって2019年にDevlinらによって導入され、Vaswaniら(2017)のTransformerアーキテクチャに基づいています。そのマスク言語モデリングと次文予測の事前学習タスクは、11のNLPベンチマークで同時に以前の最先端を上回る深く文脈的な表現を生み出しました。分類のためのBERTのファインチューニングは、すぐに応用NLP研究における支配的なパラダイムとなり、RoBERTa、DistilBERT、ALBERTなどの後継者を輩出しました。

使うべき場面

ラベル付きカテゴリを持つテキストデータがあり、感情分析、意図検出、トピックラベリング、またはドキュメントトリアージなどのタスクで高い精度が必要な場合に、ファインチューニングされたBERTベースの分類を使用します。事前学習が豊富な事前知識を提供するため、数百から数千のラベル付きサンプルが少なくても優れています。文脈の意味が重要な場合は、従来のバッグオブワーズ分類器よりも優先してください。計算リソースが非常に制約されている場合(CPUでの推論は遅い)、テキストドメインが標準的なWebテキストと根本的に異なり、ドメイン固有のチェックポイントが存在しない場合、またはレビュー担当者や規制当局によって個々の特徴量の重みの完全な解釈可能性が必要な場合は、使用しないでください。

限界と注意点

  • ファインチューニングと推論の両方で高いメモリとコンピューティングフットプリント。実用的なスループットにはGPUが実質的に必要です。
  • 限定されたコンテキストウィンドウ(ベースBERTで512トークン)。これより長いドキュメントは、切り捨てまたは分割する必要があります。
  • モデルの内部は大部分が不透明なままであり、解釈可能性に対する規制または査読者の要求と競合する可能性があります。
  • 学習率が高すぎるか、トレーニングが長すぎると、壊滅的な忘却のリスクがあります。
  • ドメイン一致のチェックポイントが使用されない限り、高度に専門化されたドメイン(臨床記録、法律契約)でパフォーマンスが低下します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 限られたラベル付きデータで、ほとんどのテキスト分類ベンチマークで最先端に近い精度を達成します。
  • バッグオブワーズおよびTF-IDFモデルが見逃す長距離の文脈的意味を捉えます。
  • 転移学習により、ゼロからトレーニングする場合と比較して、必要なラベル付きデータとトレーニング時間が劇的に削減されます。
  • HuggingFaceを介したドメイン固有の事前学習済みチェックポイント(生物医学、法律、金融、多言語)の広範なエコシステム。
  • タスク全体で一貫したAPI — 同じファインチューニングレシピが、バイナリ、マルチクラス、マルチラベルの設定に適用されます。
  • 組み込みのサブワードトークン化は、形態的に豊かな言語、珍しい単語、およびタイポをうまく処理します。

応用

  • 製品レビュー、ソーシャルメディア投稿、アンケート回答の感情分析。
  • 対話システムおよび仮想アシスタントにおける意図検出とスロット充填。
  • ニュース記事、抄録、またはサポートチケットのトピックおよびカテゴリラベリング。
  • ドメイン固有のBioBERTを使用した臨床テキスト分類(例:トリアージの重症度またはICDコード割り当て)。
  • コンテンツモデレーションパイプラインにおけるヘイトスピーチおよび有害性検出。
  • 法律BERTバリアントを使用した法律文書分類および条項タイプ識別。

使い方

使い方

1

事前学習されたBERTチェックポイント(例:bert-base-uncasedまたはドメイン固有のバリアント)は、すべてのトランスフォーマー層を凍結または凍結解除してロードされます。トークナイザーは、生のテキストをWordPieceサブワードトークンに変換し、シーケンス表現として使用される特別な[CLS]トークンを前に付け、[SEP]セパレーターを追加します。

2

線形分類ヘッドは、[CLS]トークンの最終隠れ状態をターゲットクラスセット上のロジットスコアにマッピングします。クロスエントロピー損失は、予測分布と正解ラベルの間で計算されます。これは新しく初期化された唯一の重みブロックであり、他のすべては事前学習から継承されます。

数式
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})
3

すべてのモデルパラメータ、または選択されたサブセット(上位N個のトランスフォーマー層など)は、小さな学習率(通常2e-5〜5e-5)を使用して、逆伝播によって共同で更新されます。トレーニングは2〜4エポック実行されます。それ以上のエポックは、事前学習された表現の壊滅的な忘却のリスクを冒します。

4

分類ヘッドの前に適用されるドロップアウト(通常0.1)、早期停止または減衰を伴う線形学習率ウォームアップと組み合わせることで、過学習を防ぎます。クラス不均衡データセットは、重み付き損失またはファインチューニング前の少数派クラスのオーバーサンプリングから恩恵を受けます。

5

推論では、トークン化された入力はファインチューニングされたモデルを介して転送され、ソフトマックス出力のargmaxが予測クラスを選択します。下流の決定が確率しきい値に依存する場合、信頼度スコアのキャリブレーションが推奨されます。

数式
\hat{y} = \arg\max_k\, p(y=k|x)

よくある落とし穴

  • 学習率が高すぎる(5e-5以上)場合、事前学習された重みが不安定になり、パフォーマンスが低下します。
  • 早期停止なしでエポック数が多すぎると、事前学習された言語知識の壊滅的な忘却につながります。
  • ファインチューニング損失でクラスの不均衡を無視すると、モデルがほとんど排他的に多数派クラスを予測するようになります。
  • ドキュメントのどの部分が最も関連性の高い情報を含んでいるかを考慮せずに、長いドキュメントを512トークンで切り捨てる。
  • トレーニング分布でのみ評価し、保持されたまたはドメイン外のセットでの一般化をテストしない。

よくある質問

BERTを効果的にファインチューニングするには、どのくらいのラベル付きサンプルが必要ですか?

BERTのファインチューニングは、単純なバイナリタスクではクラスあたり数百のサンプルでうまく機能し、通常は1,000〜10,000のラベル付きインスタンスで強力なパフォーマンスに達します。非常にリソースが限られている設定では、少数ショットまたはプロンプトベースのアプローチが標準的なファインチューニングを上回る可能性があります。

すべてのレイヤーをファインチューニングすべきですか、それとも分類ヘッドのみですか?

すべてのレイヤーを共同でファインチューニングすると、通常、小さな学習率(2e-5〜5e-5)を使用する場合、最高の精度が得られます。ほとんどのレイヤーを凍結し、ヘッドのみをトレーニングすることは、ラベル付きデータが非常に少ない場合にはより速く安全ですが、通常は数パーセントの精度が犠牲になります。

512トークンを超えるドキュメントをどのように処理しますか?

一般的な戦略には、最初の512トークンへの切り捨て(開始時の分類手がかりにはしばしば十分)、オーバーラップするチャンクのウィンドウ処理、またはチャンクレベルの表現を集約する階層エンコーダーが含まれます。最適な選択は、ドキュメントのどこにクラス判別コンテンツが表示されるかによって異なります。

どのBERTバリアントを選択すべきですか?

英語の一般ドメインテキストにはbert-base-uncasedから始めてください。テキストがWikipediaやBookCorpusと大きく異なる場合は、ドメイン固有のチェックポイント(例:生物医学の場合はBioBERT、法律の場合はLegalBERT)を使用してください。RoBERTa-baseは、分類ベンチマークでBERTを上回ることが多く、強力な代替手段です。

出版物の結果をどのように報告しますか?

特に不均衡なデータセットの場合、精度、再現率、およびマクロF1を精度とともに報告してください。結果の安定性を示すために、複数のランダムシード(少なくとも3つ)でファインチューニングを実行し、平均と標準偏差を報告してください。ハイパーパラメータ選択に使用されたことのない、保持されたテストセットの評価を含めてください。

関連する手法

参考文献

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    DOI 文献を開く
    コピーしました。
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.

    DOI 文献を開く
    コピーしました。