BERTベースの分類
- 提唱者
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
- 年
- 2019
- 種類
- Pre-trained language model with fine-tuning
- 系統
- Deep learning / NLP / CV
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
BERTベースの分類は、GoogleのBidirectional Encoder Representations from Transformersモデルをラベル付きテキストデータセットでファインチューニングし、汎用的な事前学習済みヘッドをタスク固有の分類層に置き換えます。数百億の事前学習済みパラメータからの深い双方向コンテキストを活用し、比較的少量のラベル付きデータで、短・中程度の長さのテキスト分類タスクにおいて最先端の精度を実現します。
手法の背後にある直感
BERTは、文中のすべての単語を、以前のモデルが左から右または右から左に読み取っていたのとは異なり、周囲のすべての単語を両方向から同時に完全に認識して読み取ります。ファインチューニングの前に、BERTはすでに大規模コーパスから豊富な言語パターンを吸収しています。テキストを分類するために、薄い分類層が上に配置され、モデル全体がラベル付き例で短時間再トレーニングされます。モデルは、事前学習された広範な言語知識を保持しながら、特定のカテゴリに合わせて内部表現を調整し、ラベル付きデータが少ない場合でも強力なパフォーマンスを発揮します。
歴史学
BERTは2019年にGoogle AI LanguageのDevlinらによって発表され、GLUEやSQuADを含む11のNLPベンチマークで直ちに新たな最先端の結果を設定しました。その主な革新は、マスク言語モデリングと次文予測による双方向事前学習でした。2019年以来、RoBERTa、ALBERT、DistilBERT、ドメイン固有のバリアントなど、多くの派生モデルを生み出し、学術、産業、臨床現場でのテキスト分類を含む、現代の応用NLPの基盤となりました。
使うべき場面
ラベル付きテキストデータがあり、感情分析、トピック分類、意図検出、または臨床テキスト分類などのタスクで最先端の精度を求めている場合にBERTベースの分類を使用してください。クラスあたり数百のラベル付き例でもうまく機能するため、大規模な注釈付きコーパスが利用できない場合に強力な選択肢となります。言語的なニュアンス、長距離コンテキスト、または微妙な意味の違いがタスクを推進する場合、より単純なモデル(TF-IDF +ロジスティック回帰、CNN、LSTM)よりも優先してください。シーケンスが特別な処理なしで512トークンを超える場合、GPUコンピューティングが利用できないかコストが高すぎる場合、ミリ秒未満のリアルタイム推論レイテンシが必要な場合、またはドメインが高度に専門化されており、ドメイン内の事前学習データがほとんど存在しない場合(この場合、ドメイン固有のモデル(BioBERT、LegalBERT)がより適切である可能性があります)は避けてください。
限界と注意点
- シーケンス長のハードリミットが512トークン。長いドキュメントには、切り捨て、チャンキング、または階層的アプローチが必要です。
- DistilBERTやロジスティック回帰などの軽量モデルと比較して、推論時の計算コストとメモリコストが高い。
- 非常に小さなデータセット(クラスあたり約100例未満)でのファインチューニングは、破滅的忘却または過学習のリスクがあります。
- モデルの内部は大部分不透明なままです。予測の説明には、注意の可視化やSHAPなどの追加ツールが必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 双方向自己注意は、単方向RNNベースのモデルでは表現できないリッチなコンテキスト意味を捉えます。
- 大規模コーパスでの事前学習は強力な言語事前知識を提供し、限られたラベル付きデータで良好なパフォーマンスを可能にします。
- ファインチューニングは、大規模モデルを一からトレーニングする場合と比較して、高速です(通常は3〜5エポック)。
- タスク固有の特徴エンジニアリングなしで、多くのNLP分類タスクを処理できる単一のアーキテクチャ。
- 多くの言語やドメイン向けの、広く利用可能な事前学習済みチェックポイント(BERT-base、BERT-large)および派生モデル。
応用
- レビュー、ソーシャルメディア投稿、アンケート回答の感情分析。
- カスタマーサポート、チャットボット、コンテンツモデレーションのためのトピックおよび意図分類。
- 臨床テキスト分類:診断コーディング、臨床ノートのトリアージ、および有害事象検出。
- 科学論文の抄録分類と系統的レビューにおける引用スクリーニング。
- ソーシャルプラットフォームでのヘイトスピーチおよび偽情報検出。
使い方
使い方
入力テキストはWordPieceトークンに分割され、特別な[CLS]トークンが先頭に追加されます。[SEP]トークンは文の境界を示します。各トークンは数値IDにマッピングされ、固定の最大シーケンス長(通常は128または512トークン)にパディングまたは切り捨てられます。
トークンシーケンスはすべてのBERT Transformerレイヤーを通過します。各レイヤーはマルチヘッド自己注意を適用するため、各トークンは両方向で他のすべてのトークンに同時に注意を払い、各位置でリッチなコンテキスト認識表現を構築します。
数式
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])最終BERTレイヤーの[CLS]トークンに対応する隠れ状態が、入力シーケンス全体を表す固定長ベクトルとして抽出されます。このプールされた表現は、テキスト全体の意味を捉えます。
線形分類ヘッド(重み行列とバイアス)が[CLS]ベクトルをクラスごとのスコアにマッピングします。ソフトマックス関数がこれらのスコアをクラス確率に変換し、最も高い確率を持つクラスが予測となります。
数式
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)モデル全体(BERTレイヤーと分類ヘッド)は、ラベル付きトレーニングセットでクロスエントロピー損失と小さな学習率(通常はAdamWで2e-5から5e-5)を使用して、少数のエポック(通常は3〜5)で共同で最適化されます。学習率ウォームアップスケジュールは、事前学習済み重みを破壊する可能性のある大きな初期勾配更新を防ぎます。
よくある落とし穴
- 事前学習済み重みを破壊し、ランダムベースラインを超える改善が得られない、高すぎる学習率の使用。
- シーケンスの最初または最後近くに最も関連性の高いテキストがあるかどうかを確認せずに、すべての入力を切り捨てること。
- 適切な訓練/検証/テスト分割をスキップし、訓練セットでのみパフォーマンスを測定すること。
- クラスの不均衡を無視すること。不均衡なデータセットで精度のみを報告すると、少数クラスの再現率が隠されます。
- デプロイ環境にGPUリソースがなく、本番環境で許容できない推論レイテンシにつながる場合にBERTを選択すること。
よくある質問
BERTをファインチューニングするには、どのくらいのラベル付きデータが必要ですか?
BERTは、事前学習により豊富な言語事前知識がすでに組み込まれているため、クラスあたり数百のラベル付き例でも有用なパフォーマンスを発揮できます。パフォーマンスは数千例まで大幅に向上しますが、それ以降は効果が減少します。クラスあたり約100例未満の場合、過学習のリスクが現実的です。データ拡張またはより軽量なモデルを検討してください。
ファインチューニング時にどの学習率を使用すべきですか?
AdamWオプティマイザで2e-5から5e-5の間の学習率は、元の論文で推奨されている標準的な範囲です。より高い学習率は事前学習済み重みを破壊する傾向があり、より低い学習率は収束を非常に遅くします。トレーニングステップの最初の10%で線形ウォームアップを使用してください。
私のテキストは512トークンより長いです。どうすればよいですか?
一般的な戦略には、最初の512トークンまたは最後の512トークンへの切り捨て、ドキュメントを重複するチャンクに分割して[CLS]表現を集約すること、または数千トークンのシーケンスを処理できるLongformerやBigBirdのような長文モデルを使用することが含まれます。
BERT-baseとBERT-largeのどちらを使用すべきですか?
BERT-base(1億1000万パラメータ)は実用的なデフォルトです。トレーニングが速く、GPUメモリの使用量が少なく、ほとんどの分類タスクで十分な精度があります。BERT-large(3億4000万パラメータ)は、複雑なタスクで数パーセントの精度向上をもたらす可能性がありますが、大幅に多くの計算リソースを必要とし、小さなデータセットでは過学習しやすいです。
分類器を公平に評価するにはどうすればよいですか?
ファインチューニングの前に、データを訓練、検証、テストセットに分割してください。少数クラスのパフォーマンスが見えるように、マクロF1(精度だけでなく)を報告してください。ハイパーパラメータ検索と早期停止には検証セットを使用し、テストセットの結果は最後に一度だけ報告してください。
関連する手法
参考文献
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
DOI 文献を開くコピーしました。Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.
DOI 文献を開くコピーしました。