Skip to content
検索結果に戻る

ファインチューニングされたRoBERTaベースの分類

提唱者
Liu, Y. et al. (Meta AI / University of Washington)
年
2019
種類
Pretrained transformer fine-tuned for classification
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ファインチューニングされたRoBERTaベースの分類は、RoBERTa事前学習済みトランスフォーマー(BERTの堅牢に再学習されたバリアント)を、分類ヘッドを追加し、ラベル付きサンプルでトレーニングを継続することにより、特定のテキスト分類タスクに適応させます。感情分析、トピック分類、有害性検出、および同様のNLPタスクで、一貫して最先端またはそれに近いパフォーマンスを達成します。

手法の背後にある直感

RoBERTaはすでに膨大な量のテキストを読み込み、言語の豊かで文脈に基づいた表現を獲得しています。ファインチューニングは、その知識を特定の分類タスクに再利用します。小さな分類層が上に配置され、モデル全体が少数のエポックでラベル付きデータでトレーニングされます。言語理解の重労働は事前トレーニング中に完了しているため、数百から数千のラベル付きサンプルでも強力な分類器を生成するのに十分な場合が多いです。結果は、すべてのトークンがローカルウィンドウだけでなく、文全体との関連で表現されるため、以前のNLP手法を上回ります。

歴史学

RoBERTaは、2019年にMeta AIのLiuらによって、BERTの再現研究および拡張として導入され、BERTが大幅に過小評価されていたことを示しました。より長く、より多くのデータで、より大きなバッチ、動的マスキングでトレーニングし、次文予測目的関数を削除することにより、RoBERTaはGLUEおよびSuperGLUEベンチマークでBERTを上回りました。分類のためのファインチューニングは、研究と産業の両方で、実用的なNLP分類タスクの事実上の出発点にすぐに発展しました。

使うべき場面

テキスト分類問題(感情、トピック、意図、有害性、スタンス、または任意のラベル割り当てタスク)があり、クラスごとに少なくとも数百のラベル付きサンプル(理想的には1000以上)がある場合に、ファインチューニングされたRoBERTa分類を選択してください。言語的なニュアンス、長距離のコンテキスト、またはドメイン固有のフレーズが重要な場合に優れています。精度が最優先で計算リソースが許す場合はroberta-largeを使用し、GPUリソースが限られている場合はroberta-baseを使用してください。明示的な特徴量重みを持つ完全に解釈可能なモデルが必要な場合、データセットが非常に小さい(クラスあたり約100未満のラベル付きサンプル)場合(データ拡張なし)、またはレイテンシ制約によりトランスフォーマー推論が除外される場合は使用しないでください。

限界と注意点

  • 計算コストが高い:roberta-largeのファインチューニングにはGPUとかなりのメモリが必要であり、アクセス性が制限されます。
  • 最大入力長512トークンは、非常に長いドキュメントを分類前にチャンク化または要約する必要があることを意味します。
  • ブラックボックスの性質により、SHAPやLIMEなどの事後ツールなしでは予測の説明が困難です。
  • 非常に小さなラベル付きセットでのファインチューニングは、事前学習済みベースにもかかわらず過学習のリスクがあります。
  • モデルサイズにより、蒸留や量子化なしではリアルタイムのプロダクションシステムでのデプロイメントレイテンシが懸念されます。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 標準的なNLP分類ベンチマークで、一貫して最先端またはそれに近い精度の結果を達成します。
  • 否定、照応、および単純なモデルが見逃す長距離依存関係を処理し、完全な双方向コンテキストを捉えます。
  • 豊富な事前学習済み言語表現のおかげで、ゼロからトレーニングするよりもはるかに少ないラベル付きデータで済みます。
  • ドメイン固有のチェックポイント(例:BioBERT、FinBERT由来のRoBERTa)は、専門分野でのパフォーマンスをさらに向上させます。
  • Hugging Face Transformersライブラリにより、最小限のボイラープレートで実装が容易になります。

応用

  • 製品レビュー、ソーシャルメディア投稿、アンケート回答の感情分析。
  • オンラインコンテンツモデレーションにおける有害性およびヘイトスピーチ検出。
  • ニュース記事のトピック分類および対話システムにおける意図分類。
  • ヘルスインフォマティクスにおける臨床ノート分類および医療コーディング。
  • 計算社会科学におけるスタンス検出および議論マイニング。
  • 法律文書分類および契約条項ラベリング。

使い方

使い方

1

事前学習済みのRoBERTaチェックポイント(例:Hugging Faceのroberta-baseまたはroberta-large)がロードされます。RoBERTaは、元のBERTよりもはるかに大きなコーパスで、より多くのステップで動的マスキングを使用して事前トレーニングされており、その表現はドメイン全体でより堅牢で一般化可能です。

2

入力テキストは、RoBERTaのバイトペアエンコーディング(BPE)語彙を使用してトークン化されます。各サンプルは特別な[CLS]トークンでプレフィックスされ、モデルの最大シーケンス長(通常は512トークン)に切り捨てまたはパディングされます。アテンションマスクは、実際のトークンとパディングを区別します。

3

最終トランスフォーマー層によって生成された[CLS]トークンの隠れ状態は、ソフトマックス(多クラス)またはシグモイド(多ラベル)活性化を持つ線形分類ヘッドを通過し、クラス確率を生成します。

数式
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)
4

モデル全体(すべてのトランスフォーマー層と分類ヘッド)は、クロスエントロピー損失と小さな学習率(通常は1e-5から3e-5)を使用して、ラベル付きデータセットでエンドツーエンドでトレーニングされます。通常、数エポック(2〜5)で十分です。それ以上のトレーニングは、事前学習済みの知識の壊滅的な忘却のリスクを高めます。

数式
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

パフォーマンスは、精度、マクロF1、およびクラスレベルの適合率と再現率を使用して、保持されたテストセットで評価されます。不均衡クラスの場合、マクロF1とAUC-ROCは生の精度よりも好まれます。予測は、バイナリタスクでは0.5、マルチクラスタスクではargmaxに閾値処理されます。

よくある落とし穴

  • 事前学習済みの表現を破壊する、高すぎる学習率(5e-5以上)の使用 — 壊滅的な忘却と呼ばれる現象。
  • 不均衡クラスで精度のみで評価すること。これは少数派カテゴリの再現率の低さを隠します。
  • テストセットでハイパーパラメータを調整し、トレイン/バリデーション/テスト分割をスキップすること。これにより、報告されるパフォーマンスが誇張されます。
  • 判別的なコンテンツが切り取られた部分にあるかどうかを確認せずに、速度のためにすべてのテキストを128トークンに切り捨てること。
  • 固定乱数シードを設定せず、実行間の分散を報告しないこと。これにより、結果が再現不可能になります。

よくある質問

ファインチューニングされたRoBERTaは、ファインチューニングされたBERTとどう違いますか?

RoBERTaはBERTと同じトランスフォーマーアーキテクチャを使用しますが、より大きなコーパス(160GB対16GB)で、より多くのステップで、次文予測目的関数なしで、動的マスキングを使用して事前トレーニングされました。これらの変更により、より堅牢な表現が得られ、ファインチューニングされたRoBERTaは、ほとんどの分類ベンチマークで一貫してBERTを上回ります。

どのくらいのラベル付きサンプルが必要ですか?

事前学習済みモデルがすでに言語を理解しているため、クラスあたり数百のサンプルで十分な結果が得られることがよくあります。クラスあたり約100未満のサンプルでは、過学習のリスクを軽減するために、少数ショットプロンプティングまたはデータ拡張戦略が推奨されます。

どのRoBERTaバリアントを使用すべきですか?ベースかラージか?

roberta-base(1億2500万パラメータ)は実用的なデフォルトです。単一のGPUで迅速にファインチューニングでき、多くの場合roberta-largeに近いパフォーマンスを発揮します。ベンチマーク精度が主な目標であり、計算リソースに制約がない場合はroberta-large(3億5500万パラメータ)を使用してください。

512トークンを超えるテキストをどうやって処理しますか?

一般的な戦略には、最も情報量の多いセグメント(多くの場合、最初と最後)への切り捨て、ドキュメントを重複するチャンクに分割して予測を集約する、または文レベルの埋め込みを分類前にプールする階層的アプローチの使用が含まれます。

モデルの予測をより解釈可能にするにはどうすればよいですか?

SHAP値(transformers用のshapライブラリのExplainer経由)またはLIMEを適用して、予測を入力トークンまたはスパンに帰属させます。アテンション重みも関連テキスト領域を強調できますが、それ自体では特徴量の重要性の信頼できる代理ではありません。

関連する手法

参考文献

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.

    出版物の文献を開く
    コピーしました。
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    DOI 文献を開く
    コピーしました。