Skip to content
検索結果に戻る

LSTMを用いた転移学習

提唱者
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
年
2018 (ULMFiT; concept since ~2010)
種類
Transfer learning / Sequential model
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

LSTMを用いた転移学習は、まず大規模なソースコーパスまたはタスクで事前学習された後、学習済み重みが小規模なターゲットタスクに転移されファインチューニングされる、Long Short-Term Memoryネットワークを用いる技術である。このアプローチはULMFiT (Howard & Ruder, 2018) によって普及し、ラベル付きターゲットデータが乏しい場合でもLSTMベースのモデルが強力な性能を達成することを可能にする。

手法の背後にある直感

小規模データセットでLSTMをスクラッチから学習させることはリスクが高い。モデルは一般的な言語や系列のパターンをほとんど学習せず、容易に過学習する。転移学習は、まず豊富なデータ(多くの場合、大規模テキストコーパスでの言語モデリング目的)でLSTMを学習させることでこれを回避する。これにより、隠れ状態は既に文法、文脈、意味の豊かな表現をエンコードしている。その後、これらの重みを特定のタスクでファインチューニングすると、モデルはランダム初期化よりもはるかに良い位置から開始するため、専門家が完全なトレーニングプログラムではなく簡単なオリエンテーションを必要とするのと同様に、迅速に適応する。

歴史学

ニューラルネットワークのための転移学習の一般的な概念は、Pan & Yang (2010) によって形式化された。再帰型ネットワークへの実用的な応用は、3段階のLSTM学習レジーム(一般的な言語モデリング、ターゲットドメイン言語モデリング、分類器ファインチューニング)が、テキスト分類ベンチマークにおいて、はるかに大きな教師ありモデルに匹敵またはそれを上回ることを示したULMFiT (Howard & Ruder, 2018) によって広く注目を集めた。ULMFiTの成功は、Transformer時代の事前学習パラダイム(BERT、GPT)に先行し、直接影響を与え、系列転移学習の標準的な参照であり続けている。

使うべき場面

系列モデリングタスク(テキスト分類、感情分析、固有表現認識、時系列予測)があるが、ラベル付きデータセットが小さい場合に、LSTMを用いた転移学習を使用する。これは、ソース言語またはターゲット言語に対して事前学習済み言語モデルが存在し、ドメイン適応(ラベルなしターゲットドメインテキスト)が可能であるNLPタスクに特に効果的である。ソースとターゲットドメインが、負の転移が起こりうるほど大きく異なる場合、個々の再帰状態の解釈可能性が必要な場合(より単純なモデルを好む)、またはTransformerベースの代替手段(BERTファインチューニングなど)が利用可能でデータセットがテキストベースである場合(Transformerは通常2019年以降NLPでLSTMを上回る)は、これを避ける。

限界と注意点

  • Transformerベースの転移手法(BERT、RoBERTa)は、NLPタスクにおいてLSTMを大部分置き換え、しばしばより高い精度を提供している。
  • LSTMの学習は逐次的であり、容易に並列化できないため、非常に大規模なコーパスでの事前学習が遅くなる。
  • ソースとターゲットのドメインが一致しない場合、スクラッチからのベースラインを下回る性能低下を引き起こす負の転移が発生する可能性がある。
  • ドメインまたは言語に適した事前学習済みLSTMチェックポイントが必要。まれな言語や高度に専門化されたドメインでは、存在しない可能性がある。
  • ファインチューニングの安定性は、学習率とフリーズのスケジュールに敏感であり、慎重なハイパーパラメータ探索が必要となる。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • スクラッチからの学習と比較して、ラベル付きデータの要件を劇的に削減する。
  • Bag-of-wordsや浅いモデルが見逃す長距離の系列依存関係を捉える。
  • 事前学習済み重みは強力な初期化を提供し、より速い収束とより良い汎化につながる。
  • NLPだけでなく、非言語系列データ(時系列、音声、ゲノミクス)にも適用可能。
  • 段階的アンフリーズと識別的学習率(ULMFiT)は、原則に基づいたファインチューニング制御を提供する。
  • 多くのTransformerアーキテクチャと比較して、解釈可能な中間表現。

応用

  • テキスト分類(感情分析、トピック分類、ニュース分類)。
  • 限定的なアノテーション付きコーパスによる固有表現認識および系列ラベリング。
  • 類似系列から事前学習された重みが利用可能な場合の、時系列異常検出および予測。
  • アノテーション付きデータが限られているがラベルなしコーパスが利用可能な言語における、低リソースNLP。
  • ドメイン適応済みLSTMチェックポイントによる、臨床ノート分類および生物医学系列分析。
  • 音響事前学習が利用可能な場合の、音声およびオーディオ系列モデリング。

使い方

使い方

1

LSTMは、一般的な目的、最も一般的には言語モデリング(次のトークンの予測)を用いて、大規模ソースデータセットで学習される。このフェーズでは、タスク固有の教師信号なしに、ネットワークに一般的な系列表現(構文構造、一般的な共起、長距離依存関係)を学習させる。結果として得られる重みは、下流タスクの初期化として機能する。

2

ラベル付きターゲットタスクでファインチューニングする前に、事前学習済みLSTMは、ラベルなしターゲットドメインテキストで言語モデル学習を継続することにより、ターゲットドメインに適応させることができる。ULMFiTで顕著に使用されたこのドメイン適応ステップは、ソースとターゲットのコーパス間の語彙とスタイルのギャップを狭め、多くの場合、低コストで意味のある精度向上をもたらす。

3

事前学習済み表現を破壊しないように、通常は最初にレイヤーをフリーズし、上(タスク固有)から下(一般的)へと段階的にアンフリーズする。ULMFiTは、下位レイヤーが上位レイヤーよりも小さい学習率を受け取ることで、一般的な目的の機能を保護しつつタスク固有の適応を可能にする段階的アンフリーズと識別的ファインチューニングを導入した。

4

LSTMの上にタスク固有のヘッド(例:テキスト分類用のソフトマックス分類器、系列から値への予測用の回帰レイヤー)が追加される。その後、ネットワーク全体(またはアンフリーズされた部分)が、小さい学習率と、収束を安定させるための傾斜三角形学習率スケジューリングを用いて、ラベル付きターゲットデータ上でエンドツーエンドで学習される。

5

性能は、タスクに適したメトリクス(分類の場合は精度、F1、AUC。回帰の場合はRMSEまたはMAE)を用いて、保持されたテストセットで評価される。典型的な転移設定ではラベル付きデータが乏しいため、層別k分割交差検証が強く推奨される。スクラッチからのLSTMベースラインとの比較は、転移によるゲインを定量化する。

よくある落とし穴

  • ファインチューニング中にすべてのレイヤーに同じ高い学習率を使用すること。これは事前学習済み表現を壊滅的に忘却させる。
  • ターゲットドメインが事前学習コーパスと著しく異なる場合に、ドメイン適応をスキップすること。
  • トレーニング分割でのみ評価し、インサンプル精度を最終結果として報告すること。
  • ターゲットタスクにおけるクラス不均衡を、重み付けやオーバーサンプリングなしに無視すること。
  • 同じ言語またはドメインに対して事前学習済みTransformerが利用可能な場合に、LSTM転移を選択すること。機会費用は大きい。

よくある質問

LSTM転移学習をBERTのファインチューニングよりも優先すべきなのはいつですか?

非テキスト系列データ(時系列、音声、ゲノミクス)の場合、または計算リソースが非常に限られている場合、LSTMは大規模Transformerよりも軽量であるため、LSTM転移を好む。英語テキストの標準的なNLPタスクでは、BERTファミリーモデルはほぼ常にLSTMを上回り、デフォルトの選択肢となるべきである。

ファインチューニング開始時にいくつのレイヤーをフリーズすべきですか?

一般的な戦略(ULMFiTから)は、最初にトップ分類器ヘッド以外のすべてのレイヤーをフリーズし、その後、エポック全体で上から下へと1つずつレイヤーを段階的にアンフリーズすることである。これにより、一般的な目的の下位レイヤー表現を保護しつつ、上位レベルの特徴をターゲットタスクに適応させる。

私のドメインまたは言語に適した事前学習済みLSTMが存在しない場合はどうなりますか?

ドメインまたは言語の任意の大きなラベルなしコーパスで独自のLSTM言語モデルを事前学習できる。比較的少量のドメインコーパス(数百万トークン)でも、特に専門用語においては、ランダムな重みよりも優れた初期化が得られる。

テキストだけでなく、時系列にも適用できますか?

はい。LSTMを用いた転移学習は時系列において確立されている。関連系列の大規模コレクション(例:電力消費またはECG信号)で事前学習されたネットワークは、より小さなターゲット系列でファインチューニングでき、しばしばターゲットデータがはるかに少ないスクラッチからのLSTMベースラインを上回る。

負の転移が発生していることをどのように知ることができますか?

ファインチューニングされたモデルの性能を、ターゲットデータのみで学習されたスクラッチからのLSTMと比較する。転移されたモデルの性能が低い場合は、負の転移が発生している可能性が高い。対策としては、ファインチューニングを上位レイヤーのみに限定する、より小さい学習率を使用する、またはターゲットドメインにより近い事前学習コーパスを選択することが挙げられる。

関連する手法

参考文献

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    DOI 文献を開く
    コピーしました。
  2. Transfer learning. Wikipedia.

    出版物の文献を開く
    コピーしました。