Skip to content
検索結果に戻る

ファインチューニングLSTM

提唱者
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
年
2018 (fine-tuning paradigm formalised); LSTM core: 1997
種類
Supervised sequential model with transfer learning
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ファインチューニングLSTMは、大規模コーパスで事前学習された長短期記憶(LSTM)ネットワークを、タスク固有のラベル付きデータで学習を継続することにより、テキスト分類、感情分析、シーケンスラベリングなどの特定のダウンストリームタスクに適応させます。ULMFiTフレームワークによって普及したこのアプローチは、ラベル付きデータが少ない場合でも高いパフォーマンスを達成します。

手法の背後にある直感

少量のラベル付きデータセットでLSTMをゼロからトレーニングすると、ネットワークは言語構造とタスクの両方を同時に学習する必要があるため、しばしば低い結果をもたらします。ファインチューニングはこれらの懸念を分離します。大規模なラベルなしコーパスがネットワークに一般的なシーケンス表現を教え、少量のラベル付きセットがそれらの表現をターゲットタスクに向けます。事前学習された重みは知識豊富な開始点として機能するため、ファインチューニング中の勾配更新はランダムな初期化からすべてを学習するのではなく、ターゲット調整を行います。

歴史学

LSTMアーキテクチャは、1997年にHochreiterとSchmidhuberによって、リカレントネットワークにおける勾配消失問題に対処するために導入されました。NLPのための事前学習済みLSTMのファインチューニングは、HowardとRuderのULMFiT(2018)によって主流になりました。これは、3段階のトレーニング(言語モデル事前学習、ドメイン適応、タスクファインチューニング)が、強力なテキスト分類に必要なラベル付きデータを劇的に削減することを示しました。ULMFiTは、現在NLPベンチマークを支配している事前学習済みTransformerファインチューニング(BERT、GPT)の後の波に影響を与えました。

使うべき場面

ファインチューニングLSTMは、シーケンスまたはテキストデータがあり、タスク固有のラベル付き例が限られている(数十から数千)、および事前学習済みLSTM言語モデルにアクセスできるかロードできる場合に適切です。これは、完全なTransformerモデルがリソースを大量に消費しすぎる場合や、シーケンス長が中程度の場合のテキスト分類、感情分析、シーケンスラベリングタスクに優れています。ラベル付きデータが豊富でゼロからのトレーニングが可能な場合、ターゲットドメインが非常に専門的で適切な事前学習済みモデルが存在しない場合、またはTransformerがよりうまく処理する非常に長い範囲の依存関係をタスクが要求する場合に避けてください。大規模なラベル付きコーパスの場合、ファインチューニングされたBERTベースのモデルは通常、LSTMベースのアプローチよりも優れています。

限界と注意点

  • テキストタスクでのパフォーマンスは、計算が可能であれば、ファインチューニングされたTransformerモデル(BERT、RoBERTa)よりも一般的に劣ります。
  • 品質は、事前学習コーパスとターゲットドメインの関連性に大きく依存します。
  • LSTMトレーニングは本質的にシーケンシャルであり、時間ステップをまたいで並列化されないため、長いシーケンスでの事前学習が遅くなります。
  • 段階的凍結解除と識別的学習率が、追加のハイパーパラメータを導入し、慎重なチューニングが必要です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 低データレジームでの有効性:事前学習された表現が、限られたラベル付き例を補います。
  • CPUのみまたはメモリ制約のあるハードウェアでのファインチューニングされた大規模Transformerモデルよりも低い計算コスト。
  • 段階的凍結解除と識別的学習率が、事前学習された知識の壊滅的な忘却を低減します。
  • パディングが多いアテンションメカニズムなしで、可変長シーケンスを自然に処理します。
  • LSTM計算のシーケンス的な性質により、ストリーミングまたはリアルタイム推論に適しています。

応用

  • 限られたラベル付きデータでのテキスト分類(感情、トピック、意図)。
  • 固有表現認識や品詞タグ付けなどのシーケンスラベリングタスク。
  • ドメイン固有の事前学習済みLSTMが利用可能な場合の時系列異常検出および予測。
  • Transformer事前学習モデルが利用できない低リソース言語NLP。
  • 完全なTransformerよりも小さいシーケンスモデルを必要とするエッジまたは組み込みデプロイメントシナリオ。
  • 一般的なLSTMが新しいドメインに段階的に特化される反復ドメイン適応パイプライン。

使い方

使い方

1

多層LSTMは、シーケンス内の次のトークンを予測するために、まず大規模な一般ドメインコーパス(例:WikiText-103)で言語モデルとしてトレーニングされます。このフェーズは、タスクラベルを必要とせずに、隠れ状態に豊富なシーケンスおよび意味表現を教え込みます。

2

新しいドメインに適応する際、レイヤーは出力レイヤーから内側に向かって徐々に凍結解除されます。これは段階的凍結解除と呼ばれるテクニックです。これにより、初期レイヤーが後続レイヤーが新しいタスクで安定化してから更新されるようになり、事前学習された表現の壊滅的な忘却を防ぎます。

3

タスク固有の出力ヘッド(例:ソフトマックス分類器、シーケンスラベリング用のCRFレイヤー、または回帰ヘッド)が最終LSTM隠れ状態に追加されます。このヘッドは、LSTM本体が凍結されている間に最初にトレーニングされ、その後、ネットワーク全体がエンドツーエンドでファインチューニングされます。

4

識別的ファインチューニングは、各LSTMレイヤーに異なる学習率を割り当てます。一般的な特徴を保持する初期レイヤーには低いレートを、タスクに近い後続レイヤーには高いレートを割り当てます。Howard & Ruderは、出力から入力に向かってレイヤーごとに学習率を2.6の係数で割ることを提案しました。

数式
\eta_l = \eta_{L} / (2.6)^{L - l}
5

完全に凍結解除されたネットワークは、ラベル付きターゲットデータセットでトレーニングされます。通常、短時間急上昇してから減衰する傾斜三角形学習率スケジュールが使用されます。パフォーマンスは、タスクに適したメトリクス(精度、F1、AUROCなど)を使用して、保持された検証セットで評価され、最良のチェックポイントが選択されます。

よくある落とし穴

  • 段階的凍結解除をスキップし、すべてのレイヤーを同時にファインチューニングし、事前学習された表現の壊滅的な忘却を引き起こす。
  • 事前学習モデルを不一致のドメイン(例:高度に専門的な生物医学的シーケンスに対する一般的なWebテキスト)で使用し、中間ドメイン適応を行わない。
  • トレーニング分割のみで評価するか、小さなターゲットデータセットでの過学習を検出するために検証損失を監視しない。
  • すべてのLSTMレイヤーに均一な学習率を設定し、識別的レートを適用しない。
  • 分類ヘッドでのクラス不均衡を無視し、多数派クラスでの精度を誇張する。

よくある質問

ファインチューニングLSTMは、BERTベースのモデルとまだ競争力がありますか?

ほとんどのNLPベンチマークでは、計算が可能であれば、ファインチューニングされたTransformerモデルはファインチューニングされたLSTMよりも優れています。しかし、ファインチューニングされたLSTMは、小規模データセット、リソース制約のある環境、およびLSTMのシーケンシャル計算が利点となるストリーミング推論タスクで競争力を維持しています。

どの事前学習済みLSTMを使用すべきですか?

英語NLPの場合、WikiText-103でトレーニングされたAWD-LSTMの重み(fastai経由でULMFiT著者によってリリースされたもの)が標準的な開始点です。ドメイン固有のタスクの場合、タスクファインチューニング前のラベルなしドメイン内テキストでの中間ドメイン事前学習は、通常、意味のある改善をもたらします。

ファインチューニングには通常、通常いくつのエポックが必要ですか?

タスク固有のファインチューニングは、通常、ラベル付きデータセットで2〜10エポックしか必要としません。検証損失を注意深く監視してください。LSTMは小さなラベル付きセットで急速に過学習する可能性があります。検証F1または損失に基づく早期停止を強く推奨します。

ファインチューニングと転移学習を使用したLSTMのトレーニングの違いは何ですか?

用語はしばしば重複しますが、ファインチューニングは具体的には事前学習された重みの更新(選択的であっても)を指しますが、転移学習は事前学習されたすべてのレイヤーを凍結し、タスクヘッドのみをトレーニングすることを指す場合があります。段階的凍結解除による完全なファインチューニングは、凍結ボディアプローチを一貫して上回ります。

いつ、ファインチューニングされたTransformerではなく、ファインチューニングされたLSTMを好むべきですか?

GPUリソースがあり、タスクが長距離依存関係または複雑なコンテキスト理解を伴い、ドメインの大きな事前学習済みチェックポイントが利用可能な場合は、ファインチューニングされたTransformer(例:BERT)を好みます。ハードウェアが限られている場合、シーケンスが短〜中程度の場合、またはエッジデバイスでの推論レイテンシが制約となる場合は、ファインチューニングLSTMを選択します。

関連する手法

参考文献

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    DOI 文献を開く
    コピーしました。
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    DOI 文献を開く
    コピーしました。