Skip to content
検索結果に戻る

RoBERTaベースの分類

提唱者
Liu, Y. et al. (Facebook AI Research / University of Washington)
年
2019
種類
Pre-trained transformer fine-tuned for sequence classification
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

RoBERTaベースの分類は、BERTよりも堅牢に訓練されたRoBERTa事前学習済みトランスフォーマーを、動的マスキングとより大きなバッチサイズで利用し、[CLS]トークン表現の上に軽量な分類ヘッドを追加して、ラベル付きサンプルでモデル全体をファインチューニングすることにより、テキスト分類タスクに適用します。標準的なNLPベンチマークにおいて、BERTに常に匹敵するかそれを上回る性能を示します。

手法の背後にある直感

RoBERTa (Robustly Optimized BERT Pretraining Approach) は、数百ギガバイトのテキストで既に訓練されたディープな双方向トランスフォーマーから始まります。これにより、言語の豊かな文脈的理解を獲得しています。新しいテキストを分類するために、特別な[CLS]要約トークンの上に単一の線形層を配置し、モデル全体をタスク固有のラベル付きデータセットで短時間訓練します。RoBERTaはBERTで使用される次文予測目的を除外し、より多くのデータと動的マスキングで訓練するため、高い分類精度を達成するために必要なファインチューニングデータを少なくする、より強力な表現を生成します。

歴史学

RoBERTaは、2019年にFacebook AI Researchとワシントン大学のLiuらによって、BERTの重要な再現および最適化研究として導入されました。著者らは、BERTが著しく訓練不足であり、次文予測を除外し、動的マスキングを使用し、より大きなバッチでより多くのデータで訓練し、文書断片ではなく完全な文を使用したことで、実質的に強力な表現が得られ、リリース当時GLUE、SQuAD、RACEで新記録を樹立したことを示しました。

使うべき場面

感情分析、トピックラベリング、意図検出、または有害コンテンツ検出などのテキスト分類タスクで最先端の精度が必要であり、クラスごとに少なくとも数百のラベル付きトレーニングサンプルがある場合に、RoBERTaベースの分類を選択してください。単純な単語袋モデルや浅いニューラルモデルが見逃す、微妙な意味的および構文的手がかりを捉えるのに優れています。計算リソースが限られている場合(GPUファインチューニングとかなりのメモリが必要)、テキストドメインがドメイン適応型事前学習なしで高度に専門化されている場合、またはチャンキング戦略なしでタスクが512トークンよりはるかに長いシーケンスを扱う場合は、避けてください。

限界と注意点

  • 最大入力長512トークンは、チャンキングまたは階層的戦略なしでは長いドキュメントには不向きです。
  • ファインチューニングにはGPUリソースとかなりのトレーニング時間が必要であり、CPUでの推論は本番ワークロードでは遅くなります。
  • 大規模なモデルサイズ(1億2500万〜3億5500万パラメータ)は、エッジまたは低リソースデプロイメントには実用的でない場合があります。
  • ドメイン固有のRoBERTaチェックポイントが使用されない限り、高度に専門化されたドメイン(臨床、法律、科学)ではパフォーマンスが急激に低下します。
  • 不透明な内部表現は、追加のXAIツールなしでは、因果的またはメカニズム的な解釈を困難にします。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 最小限のタスク固有のエンジニアリングで、標準的なNLP分類ベンチマークにおいて、常に最先端に近い精度を達成します。
  • 双方向コンテキストにより、一方向モデルとは異なり、遠く離れた単語間の複雑な依存関係を捉えることができます。
  • 事前学習中の動的マスキングは、BERTの静的マスキングよりも堅牢な表現を生成します。
  • 比較的少量のラベル付きデータセット(クラスあたり数百から数千の例)で効果的にファインチューニングできます。
  • HuggingFace経由で利用可能な、事前学習済みバリアント(roberta-base、roberta-large、ドメイン固有チェックポイント)の広範なエコシステム。
  • ソフトマックスをシグモイドに置き換え、損失関数を調整することで、マルチラベル分類が容易になります。

応用

  • ソーシャルメディア、レビュー、金融ニュースにおける感情分析および意見マイニング。
  • カスタマーサポート、チャットボットルーティング、コンテンツモデレーションのためのトピックおよび意図分類。
  • オンラインプラットフォームにおける有害言語およびヘイトスピーチ検出。
  • ニュース、法律、学術ドメインにおけるマルチクラスおよびマルチラベル文書分類。
  • NLP研究パイプラインにおける科学的主張の分類および事実確認。
  • ドメイン適応型RoBERTaチェックポイントを使用した臨床テキストコーディングおよび医療記録分類。

使い方

使い方

1

入力テキストはバイトペアエンコーディング (BPE) を使用してサブワードトークンに分割されます。特別な[CLS]トークンが先頭に追加され、[SEP]トークンが末尾に追加されます。結果のシーケンスは、固定の最大長(一般的に512トークン)に切り捨てられるかパディングされます。

2

トークンシーケンスは、RoBERTaのマルチレイヤ双方向トランスフォーマーエンコーダを通過します。各レイヤは、残差接続を持つマルチヘッド自己注意機構とフィードフォワードサブレイヤを適用し、各トークンに対して文脈を考慮したリッチな表現を構築します。[CLS]トークンの最終隠れ状態が、集約された文表現として機能します。

数式
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

線形分類ヘッド(重み行列Wとバイアスb)が[CLS]表現に適用され、その後にソフトマックス(マルチラベルの場合はシグモイド)活性化関数が適用され、クラス確率が生成されます。

数式
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

事前学習済みトランスフォーマーの重みと新しい分類ヘッドの両方を含む、すべてのモデルパラメータは、タスク固有のラベル付きサンプルに対する勾配降下法により共同で更新されます。通常、3〜10エポック、小さな学習率(1e-5〜5e-5)、および破滅的忘却を回避するための線形ウォームアップスケジューラを使用します。

5

推論時には、入力テキストがトークン化され、ファインチューニングされたRoBERTaエンコーダを通過し、ソフトマックス出力のargmaxが予測クラスを与えます。確信度に基づくフィルタリングやマルチラベル分類のために、確率を閾値処理することができます。

よくある落とし穴

  • 独立したテストセットなしで早期停止と同じ分割を使用すると、報告される精度が誇張されます。
  • クラス不均衡の処理忘れ:重み付き損失またはオーバーサンプリングなしで、極端に偏ったクラスでファインチューニングすると、ほとんど排他的に多数派クラスを予測するモデルにつながります。
  • 学習率が高すぎ(5e-5以上)設定され、最初の数回のトレーニングステップで事前学習済み表現が破滅的に忘却されます。
  • 関連コンテンツが末尾にあるかどうかを考慮せずに長い入力を切り捨てる(例:法律文書の重要な文)、体系的な情報損失につながります。
  • 不均衡データセットでの精度のみを報告し、マクロ平均F1、適合率、再現率、およびAUCを報告しない。

よくある質問

RoBERTaは分類においてBERTとどのように異なりますか?

RoBERTaはBERTの次文予測目的を除外し、静的マスキングではなく動的マスキングを使用し、10倍のデータでより大きなミニバッチで訓練し、文書断片ではなく完全な文を使用します。これらの変更により、標準ベンチマークでの下流分類精度が1〜3パーセントポイント一貫して向上します。

RoBERTaをファインチューニングするには、どのくらいのラベル付きデータが必要ですか?

RoBERTaは、バイナリまたは粗粒度のタスクではクラスあたりわずか数百のラベル付き例で効果的にファインチューニングできますが、堅牢なマルチクラスパフォーマンスにはクラスあたり1,000以上が推奨されます。例が少ない場合は、代わりに生成モデルによる少数ショットプロンプティングまたはデータ拡張を検討してください。

roberta-baseとroberta-largeのどちらを使用すべきですか?

roberta-base(1億2500万パラメータ)は、より速く訓練され、GPUメモリを少なく消費する実用的な出発点です。roberta-large(3億5500万パラメータ)は、通常、計算量とメモリの約4倍のコストで精度を1〜3ポイント向上させます。最大限の精度が重要であり、リソースが許す場合はlargeを使用してください。

テキストが512トークンより長い場合はどうなりますか?

一般的な戦略には、最初の512トークンへの切り捨て(分類シグナルが先頭にある場合にうまく機能する)、重複するチャンクに対するスライディングウィンドウプーリング、またはチャンクをRoBERTaでエンコードし、2番目のモデルで集約する階層モデルが含まれます。

クラス不均衡をどのように処理しますか?

各クラスの重みがその頻度に反比例する重み付きクロスエントロピー損失を使用するか、少数派クラスをオーバーサンプリングします。体系的な多数派クラスバイアスを検出するために、常に精度ではなくマクロ平均F1で評価してください。

関連する手法

参考文献

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    出版物の文献を開く
    コピーしました。
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    DOI 文献を開く
    コピーしました。