Skip to content
検索結果に戻る

ファインチューニングされたリカレントニューラルネットワーク

提唱者
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
年
2015–2018
種類
Transfer learning / sequential model adaptation
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ファインチューニングされたリカレントニューラルネットワーク(RNN)は、大規模なコーパスや時系列データで事前学習されたモデルから開始し、制御された勾配更新を通じて特定のダウンストリームタスクに合わせて重みを調整します。このアプローチは、テキスト分類、固有表現認識、感情分析、および関連タスクにおける強力なシーケンスモデリングパフォーマンスに必要なラベル付きデータを劇的に削減します。

手法の背後にある直感

RNNをゼロからトレーニングするには、大規模なラベル付きデータセットと長い実行時間が必要です。ファインチューニングは、すでに言語構造やシーケンスパターンを理解しているネットワークを利用し、それを専門化するように微調整することで、これを回避します。広範な構文的および時間的パターンをエンコードする初期のリカレント層は、わずかな調整しか必要とせず、後続の層とタスク固有の出力ヘッドが新しい情報の大部分を吸収します。慎重な学習率スケジューリングは、モデルがすでに知っていることを忘れるのを防ぎます。

歴史学

NLPにおける事前学習済みRNNのファインチューニングは、大規模コーパスでトレーニングされた言語モデルが転送可能な表現を示すようになった2015年頃から徐々に発展しました。この実践は、HowardとRuderのULMFiT論文(ACL 2018)によって体系化され、LSTM言語モデルの段階的な凍結解除と識別学習率を導入し、非常に少ないタスク固有のデータで6つのテキスト分類ベンチマークで最先端の結果を達成しました。Transformerベースのファインチューニング(BERT、2018)がすぐにNLPベンチマークを席巻しましたが、ファインチューニングされたRNNは、リソース制約のある展開や時系列アプリケーションにおいて依然として関連性があります。

使うべき場面

ラベル付きデータが限られているタスクで、ドメインまたは言語の事前学習済みRNNまたは言語モデルが利用可能な場合に、ファインチューニングされたRNNを使用します。テキスト分類、感情分析、NER、およびTransformerベースのモデルが過剰にパラメータ化されているか利用できないシーケンス予測に適しています。非常に長い依存関係が支配的な場合(その場合はLSTMまたはTransformerがより適しています)、またはリアルタイム推論レイテンシが重要な場合(小さなRNNでも展開に時間がかかる可能性があるため)、プレーンRNNのファインチューニングは避けてください。純粋に表形式または非シーケンシャルデータにRNNファインチューニングを適用しないでください。

限界と注意点

  • バニラRNNは勾配消失に苦しみ、長距離依存関係に対処するのが困難です。LSTMまたはGRUベースモデルを優先してください。
  • ファインチューニングの品質は、事前学習コーパスの関連性によって制限されます。ドメインの不一致は利益を減少させます。
  • ハイパーパラメータの感度(学習率スケジュール、凍結解除エポック)は、慎重なチューニングまたは検証検索を必要とします。
  • 十分な計算能力がある場合、ほとんどのNLPベンチマークでTransformerベースのモデル(BERT、RoBERTa)に大部分が取って代わられました。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ゼロからトレーニングする場合と比較して、必要なラベル付きデータの量が大幅に削減されます。
  • 事前学習された重みは、関連するタスクやドメインを横断して転送される豊富なシーケンス表現をエンコードします。
  • 大規模なGPUクラスタなしでアクセス可能にする、大規模なTransformerモデルのファインチューニングよりも計算量が少ないです。
  • 段階的な凍結解除と識別学習率は、壊滅的な忘却を効果的に制限します。
  • 柔軟性:テキスト、時系列、音声、および任意のシーケンス構造化データに対応します。

応用

  • 限られたラベル付き例でのテキスト分類(感情分析、トピック分類)。
  • 生物医学または法律テキストのような専門分野での固有表現認識およびシーケンスラベリング。
  • 事前学習されたシーケンスモデルを特定のセンサー信号に適合させることによる、時系列異常検出。
  • 低リソースまたはドメイン固有のコーパスのための言語モデル適応。
  • 事前学習されたユーザー行動シーケンスエンコーダーを活用したシーケンシャルレコメンデーションシステム。

使い方

使い方

1

ベースRNN(プレーンRNN、LSTM、またはGRU)は、まず、次のトークン予測のような言語モデリング目的で大規模なラベルなしコーパス、または大規模なソースドメイン時系列で事前学習されます。このフェーズは、タスク固有のラベルなしで一般的なシーケンス構造を捉える表現を作成します。

2

ターゲットタスクに適応する際、層は上部(出力に最も近い)から下部に向かって段階的に凍結解除されます。すべてのリカレント層を凍結した状態から開始すると、事前学習された重みの壊滅的な忘却を防ぐことができます。段階的な凍結解除により、各層は次の層が解放される前に調整できます。

3

異なる学習率は異なる層に割り当てられます。出力に近い層ほど高く、入力に近い層ほど低くなります。ULMFiT(Howard and Ruder 2018)で普及したこの識別学習率戦略は、下位層が最小限しか変化すべきではないより一般的な特徴をエンコードするという観察を反映しています。

4

タスク固有の出力ヘッド(例:感情分析用の線形分類器、シーケンスラベリング用のCRF)が、最終リカレント層の上に配置されます。このヘッドは、凍結解除されたリカレント層と共同でトレーニングされ、モデルが学習済み表現をターゲットドメインラベルにマッピングできるようになります。

5

モデルのパフォーマンスは、タスクに適したメトリクス(精度、F1、不均衡クラスの場合はマクロ平均F1、またはシーケンスレベルメトリクス)を使用して、保持された検証セットで評価されます。検証損失に基づく早期停止は、小さなファインチューニングデータセットへの過学習を防ぎます。

よくある落とし穴

  • すべての層に単一の高い学習率を使用すると、事前学習された重みが上書きされ、転送の利点が失われます。
  • 段階的な凍結解除をスキップし、すべての層を同時にファインチューニングすると、壊滅的な忘却につながります。
  • クラスが不均衡な場合に精度のみで評価すること。常にマクロF1とクラスごとのメトリクスを報告してください。
  • 異なる言語またはドメインからの事前学習済みモデルが、ドメイン適応なしでうまく転送されると仮定すること。
  • ラベル付きデータが少ない場合に、早期停止を無視してファインチューニングセットに過学習すること。

よくある質問

プレーンRNN、LSTM、またはGRUのいずれをベースとして使用すべきですか?

プレーンRNNよりもLSTMまたはGRUを常に優先してください。プレーンRNNは数十ステップを超えるシーケンスで勾配消失に苦しみ、事前学習された表現が壊れやすくなります。LSTMとGRUは、長距離情報を保持し、より安定したファインチューニングを行うために特別に設計されました。

ファインチューニングは何エポック実行すべきですか?

通常、ターゲットタスクで3〜10エポックですが、データセットのサイズによって異なります。固定エポック数ではなく、検証損失に基づく早期停止を使用してください。小さなデータセットで長すぎるファインチューニングを行うと、事前学習された初期化にもかかわらず過学習します。

ファインチューニングされたTransformerは、ファインチューニングされたRNNよりもいつ優先すべきですか?

計算量がボトルネックではなく、ベンチマークパフォーマンスの向上が目標である場合、ファインチューニングされたTransformer(BERT、RoBERTa)はNLPタスクでファインチューニングされたRNNを一貫して上回ります。メモリフットプリントが小さく、CPUでの推論が速い場合、またはTransformerの二次アテンションが非現実的な長い時系列データを扱っている場合に、ファインチューニングされたRNNを選択してください。

私のドメインに事前学習済みのRNNが存在しない場合はどうなりますか?

言語またはドメインの事前学習済みモデルが利用できない場合は、コーパスが控えめであっても、利用可能なドメイン内のラベルなしテキストで少数のLSTMを事前学習することを最初のステップとして検討してください。あるいは、多言語の事前学習済みモデルを使用し、ターゲット言語データでファインチューニングしてください。

壊滅的な忘却を防ぐにはどうすればよいですか?

段階的な凍結解除(上から下へ一度に1層ずつ凍結解除)を適用し、前の層には低い学習率(識別学習率)を使用します。ULMFiTで提案されているような、傾斜三角形学習率スケジュールも、モデルが事前学習された知識を消去することなく良好な解に落ち着くのに役立ちます。

関連する手法

参考文献

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    DOI 文献を開く
    コピーしました。
  2. Recurrent neural network. Wikipedia.

    出版物の文献を開く
    コピーしました。