Skip to content
検索結果に戻る

Fine-Tuned Transformer

提唱者
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
年
2017–2019
種類
Transfer learning / supervised fine-tuning
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

Fine-tuning a Transformerとは、BERT、GPT、ViTのような大規模事前学習済みモデルを、ラベル付きターゲットデータセット上で勾配ベースの学習を継続することにより、特定のダウンストリームタスクに適応させることである。この二段階パラダイム(事前学習、次にファインチューニング)は、ゼロから学習させるよりもはるかに少ないタスク固有データで、自然言語処理(NLP)およびコンピュータビジョンタスク全体で最先端の結果を一貫して達成する。

手法の背後にある直感

事前学習済みTransformerは、広大なコーパスから言語または画像の豊かな表現をすでに学習している。ファインチューニングは、その分野を深く理解している専門家を雇い、特定の仕事に就かせるようなものである。すべての知識をゼロから書き直すのではなく、タスク用の小さな出力ヘッドを追加し、ラベル付き例で低学習率を用いてネットワーク全体を更新する。事前学習済み重みは、暖かく強力な出発点を提供するため、数百のラベル付き例でも強力なパフォーマンスが得られる――これはゼロから学習させる場合には不可能である。

歴史学

Transformerアーキテクチャは、2017年にVaswaniらによって導入され、リカレントネットワークを自己注意機構に置き換えた。HowardとRuder(2018)はULMFiTで言語モデルのファインチューニングを形式化し、Devlinら(2019)はBERTでそれをスケールアップし、単一の事前学習済みモデルのファインチューニングが11のNLPベンチマーク全体でトップの結果を達成することを示した。この事前学習→ファインチューニングのパラダイムは、急速にNLPにおける支配的なアプローチとなり、その後Vision Transformerを介してコンピュータビジョンにも広がった。

使うべき場面

ラベル付きテキスト、画像、またはマルチモーダルタスクがあり、大規模モデルをゼロから学習させることなく最先端の精度を望む場合に、ファインチューニング済みTransformerを使用する。事前学習済み表現が必要な知識の大部分を担っているため、ラベル付きデータが限られている(数十から数千の例)場合に特に優れている。NLPタスク(分類、NER、質問応答など)や、ViTを介したコンピュータビジョンタスクで特に強力である。デプロイメント環境が大規模モデル推論をサポートできない場合(例:量子化なしでの厳密なレイテンシ/メモリ予算を持つエッジデバイス)、事前学習ドメインがターゲットドメインと著しく異なり、ドメイン固有のチェックポイントが存在しない場合、または完全なモデルの透明性と係数の解釈可能性がレビュー担当者または規制当局によって要求される場合には使用しない。

限界と注意点

  • 事前学習済みTransformerモデルは大規模(1億100万〜数十億パラメータ)であり、ファインチューニングにはかなりのGPUメモリと計算能力が必要である。
  • 性質上ブラックボックスであり、標準的なファインチューニングでは解釈可能な係数は生成されないため、学術報告の規範と衝突する可能性がある。
  • 特に小規模ターゲットデータセットでは、ランダムシード間でパフォーマンスが不安定になる可能性があり、信頼できる推定値を得るには複数回の実行が必要である。
  • 学習率またはエポック数が高すぎると、壊滅的な忘却のリスクがある。
  • 事前学習ドメインとターゲットドメイン間の整合性が必要であり、不一致はパフォーマンスを著しく低下させる。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 比較的少ないラベル付き例で、幅広いタスクにおいて最先端のパフォーマンスを達成する。
  • 事前学習された数十億パラメータ相当の表現を活用し、必要な学習データを劇的に削減する。
  • 柔軟なアーキテクチャは、統一されたフレームワーク内で分類、回帰、生成、構造化予測、およびビジョンタスクをサポートする。
  • コミュニティによって維持されているモデルハブ(Hugging Face Hub)は、ファインチューニング準備完了の数千のドメイン固有チェックポイントを提供する。
  • 文脈表現は、Bag-of-WordsやRNNベースのモデルが見落とす長距離依存関係を捉える。
  • 標準化されたファインチューニングレシピとライブラリ(Transformers、PyTorch Lightning)は、再現可能な実装の障壁を下げる。

応用

  • テキスト分類(感情分析、トピック分類、ヘイトスピーチ検出)。
  • 固有表現認識、品詞タグ付け、その他のシーケンスラベリングタスク。
  • ドメイン固有コーパスにおける質問応答および読解。
  • ファインチューニング済みVision Transformerを介した画像分類および物体認識。
  • ドメイン固有の事前学習済みチェックポイントを使用した、生物医学および法律文書の分析。
  • ラベル付きデータは少ないが、多言語チェックポイント(mBERT、XLM-R)が存在する場合の、低リソース言語タスク。

使い方

使い方

1

ターゲットタスクと事前学習ドメインが一致するTransformerチェックポイントを選択する。テキストタスクの場合、大規模コーパスで事前学習されたBERT、RoBERTa、GPT-2のようなモデルが標準である。画像タスクの場合、ImageNetまたはCLIPで事前学習されたVision Transformer(ViT)のバリアントが一般的である。ターゲットドメインの語彙が一般的なコーパスから乖離している場合は、ドメイン固有の事前学習済みモデル(例:BioBERT、LegalBERT)が好ましい。

2

最終Transformer層の上に軽量なタスク固有ヘッドを追加する:シーケンス分類用の線形分類層、シーケンスラベリング(NER、POS)用のトークンレベル線形層、または質問応答用のスパン抽出ヘッド。ランダムに初期化されるのはこのヘッドのみであり、Transformer本体は事前学習済み重みを引き継ぐ。

3

語彙の整合性を維持するために、モデルの元のトークナイザーを使用してラベル付きターゲットデータセットをトークン化する。モデルの最大シーケンス長に合わせるために、切り捨てとパディングを適用する。訓練セットと検証セットに分割する。分類ラベルが不均衡な場合は、クラスで層化する。深刻な不均衡が存在する場合は、クラス重みを計算するか、オーバーサンプリングを適用する。

4

ターゲットデータ上で、低学習率(通常BERTファミリーモデルでは1e-5から5e-5)と短いスケジュール(ほとんどのNLPタスクでは2〜5エポック)を用いて、モデル全体をエンドツーエンドで学習させる。学習率の線形ウォームアップをステップの最初の10%で行い、その後線形減衰を行うのが標準的な実践である。各エポックで検証損失を監視し、事前学習済み知識の壊滅的な忘却を防ぐために早期停止を適用する。

数式
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

タスクに適したメトリクスを用いて、保持されたテストセットで評価する:分類の場合は精度とマクロF1、NERとQAの場合はスパンレベルF1、要約の場合はROUGEまたはBERTScore。ファインチューニングの結果は、特に小規模データセットでは初期化に敏感である可能性があるため、複数のランダムシードにわたるパフォーマンスを報告する。

よくある落とし穴

  • 学習率が高すぎる(1e-4以上)と、事前学習済み重みの壊滅的な忘却を引き起こす。
  • 早期停止なしでエポック数が多すぎると、小規模ターゲットデータセットでの過学習につながる。
  • 複数シードの平均化を行わずに単一のファインチューニング実行の結果を報告すると、高い分散が隠蔽される。
  • 事前学習時に使用されたものとは異なるトークナイザーを使用することによる、トークン化整合性の無視。
  • 利用可能で明らかに適切なドメイン固有モデル(例:BioBERT、SciBERT)がある場合に、汎用チェックポイントを選択すること。

よくある質問

Transformerをファインチューニングするには、いくつのラベル付き例が必要ですか?

タスクの複雑さによりますが、Transformerは特にデータ効率が良いです。分類タスクは、数百から数千のラベル付き例でうまくいくことが多いです。非常に小規模なデータセット(約200例未満)の場合、LoRAやプロンプトチューニングのようなFew-shotまたはパラメータ効率的な手法の方が安定する可能性があります。

Transformer本体を凍結し、ヘッドのみを学習すべきですか?

ほとんどの設定で、エンドツーエンドの完全なファインチューニングは、ヘッドのみの学習よりも一貫して優れたパフォーマンスを発揮します。本体の凍結は、主に例が非常に少ないか、計算リソースが非常に限られている場合に役立ちますが、表現のタスク固有の適応性を犠牲にします。

どのような学習率を使用すべきですか?

BERTファミリーモデルは学習率に敏感です。1e-5から5e-5の間の値で、総ステップの6〜10%にわたる線形ウォームアップを行うのが、標準的な出発点です。1e-4を超えるレートは、通常、壊滅的な忘却を引き起こします。

異なる事前学習済みチェックポイントをどのように選択しますか?

利用可能な場合は、ドメインに一致するチェックポイント(生物医学にはBioBERT、法律テキストにはLegalBERT、科学テキストにはSciBERT)を優先します。一般的なタスクでは、RoBERTaまたはDeBERTaは通常、標準的なBERTよりも優れたパフォーマンスを発揮します。タスク固有のベンチマークについては、Hugging Faceモデルリーダーボードを確認してください。

ファインチューニング済みTransformerは、学術報告にとって十分に解釈可能ですか?

従来の係数報告の感覚ではありません。しかし、アテンションの可視化、統合勾配、およびSHAPベースの説明は、どのトークンが予測を駆動しているかを明らかにすることができます。これらの技術は応用NLP研究でますます受け入れられていますが、厳密に確認的な社会科学の文脈ではレビュー担当者を満足させないかもしれません。

関連する手法

参考文献

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    出版物の文献を開く
    コピーしました。
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    出版物の文献を開く
    コピーしました。