Skip to content
検索結果に戻る

リカレントニューラルネットワーク (RNN)

提唱者
Rumelhart, D. E.; Elman, J. L.
年
1986–1990
種類
Sequential neural network
系統
Deep learning / NLP / CV

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

リカレントニューラルネットワーク (RNN) は、時間ステップ間で情報を伝達する隠れ状態を維持することにより、逐次データを処理するように設計されたニューラルネットワークの一種である。1986年にRumelhartらによって現代的な形式が導入され、1990年にElmanによってさらに形成されたRNNは、アテンションベースのモデルが登場する前に、自然言語処理 (NLP)、音声、時系列分析におけるシーケンスモデリングの主要なアーキテクチャとなった。

手法の背後にある直感

各入力を独立に扱うフィードフォワードネットワークとは異なり、RNNはシーケンスを一度に1要素ずつ処理し、それまでに見聞きしたことの要約(隠れ状態)を次のステップに渡す。これは、文章を単語ごとに読むようなものだと考えてほしい。各単語で、それまでのすべての単語を考慮して理解を更新する。このリカレント接続により、ネットワークは時間的依存関係と文脈を捉えることができ、順序が重要で過去の文脈が現在の要素の意味を形作るタスクに自然に適している。

歴史学

リカレントネットワークの基礎は、1986年にRumelhart、Hinton、Williamsによってバックプロパゲーション・スルー・タイムアルゴリズムとともに築かれ、1990年のElmanの論文は、認知モデリングのためのシンプルなリカレントネットワークアーキテクチャを普及させた。1990年代から2000年代にかけてRNNは音声認識と言語モデリングを支えたが、1997年にHochreiterとSchmidhuberがLSTMを導入するまで、勾配消失問題によってその実用的な影響は限定されていた。RNNは、概念的なアンカーおよび軽量ベースラインとして依然として重要である。

使うべき場面

データが逐次的であり、順序が意味を持つ場合(テキスト、音声、センサーストリーム、金融時系列、または中程度の長さ(数百ステップまで)の生物学的シーケンス)にRNNを使用する。コンパクトなリカレントアーキテクチャが必要な場合や、LSTM/GRUバリアントとの後続の統合が計画されている場合に適切である。バニラRNNを数百ステップを超えるシーケンスには使用しないこと。勾配消失により、長距離の依存関係を学習できなくなり、LSTMまたはGRUの方がはるかに効果的である。2024年以降の自然言語理解タスクでは、事前学習済みトランスフォーマー(BERT、RoBERTa)がほぼ常にRNNを上回る。RNNは主に、より大きなアーキテクチャのコンポーネントとして、またはシーケンスタスクのベースラインとして使用する。

限界と注意点

  • 約50〜200ステップを超えるシーケンスに対する深刻な勾配消失/爆発問題。LSTMまたはGRUを優先すべきである。
  • 畳み込みまたはトランスフォーマーアーキテクチャと比較して、時間ステップにわたる計算の並列化ができないため、長いシーケンスでのトレーニングが遅くなる。
  • BERTやRoBERTaなどの事前学習済みトランスフォーマーモデルによって、ほとんどのNLPベンチマークで大幅に性能が劣る。
  • 固定次元の隠れ状態が長距離の文脈を圧縮するのに苦労するため、メモリ容量が限られている。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • パディングを固定ウィンドウサイズに必要とすることなく、可変長シーケンスを自然に処理する。
  • 時間ステップ全体でのパラメータ共有により、入力長に対するモデルサイズを管理可能に保つ。
  • LSTM、GRU、および多くの最新シーケンスモデルの概念的および実践的な基盤を形成する。
  • より高価なアーキテクチャの前に、シーケンス分類および回帰の軽量ベースラインとして適している。
  • 各時間ステップで出力を生成できるため、シーケンスタギングや翻訳などの多対多タスクが可能になる。

応用

  • 短〜中程度の長さのドキュメントに対するテキスト分類および感情分析。
  • 文字レベルまたは単語レベルでの言語モデリングおよび次単語予測。
  • 中程度の長さのセンサー、金融、または生理学的データの時系列予測。
  • エンコーダーとして使用する場合の、品詞タグ付けなどのシーケンスタギングタスク。
  • 音声認識からテキストへの変換およびオーディオ特徴抽出パイプライン。
  • LSTM、GRU、またはトランスフォーマーアーキテクチャにアップグレードする前のベースラインシーケンスモデリング。

使い方

使い方

1

入力は、一度に1要素ずつネットワークに供給されるベクトル(単語、時間ステップ、フレーム)のシーケンスである。各要素 x_t は、前のステップから伝達された隠れ状態 h_{t-1} とペアになり、シーケンス全体にわたって文脈が蓄積されることを可能にする。

2

各ステップ t において、隠れ状態は h_t = tanh(W_h * h_{t-1} + W_x * x_t + b) として更新される。重み行列 W_h と W_x はすべての時間ステップで共有されるため、モデルはシーケンス長に関係なく繰り返し適用される単一の遷移ルールを学習する。

数式
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

出力 y_t は、各時間ステップ(多対多)または最終ステップ(多対一)のみの隠れ状態から計算される。分類タスクでは、最終隠れ状態がソフトマックス層に渡される。シーケンス・ツー・シーケンス・タスクでは、すべてのステップで出力が生成される。

数式
y_t = W_y h_t + b_y
4

トレーニングには、バックプロパゲーション・スルー・タイム (BPTT) が使用される。勾配は、展開されたシーケンスを逆方向に流れ、すべての共有重みを更新する。長いシーケンスでは、勾配が非常に小さくなるか大きくなりすぎて、初期の時間ステップを確実に更新できなくなる、勾配消失または勾配爆発の問題が生じる。

5

共有重み W_h, W_x, および W_y は、勾配降下法または適応型オプティマイザ(Adam, RMSProp)を使用して更新される。勾配爆発を防ぐために、勾配クリッピングが一般的に適用される。同じ重みが各ステップを制御するため、モデルはシーケンス長の変動にわたって汎化する。

よくある落とし穴

  • 勾配消失の限界を認識せず、LSTM/GRUとのベンチマークを行わずに、バニラRNNを長いシーケンスに適用すること。
  • 勾配をクリップせずに、長い入力でのNaN損失や不安定なトレーニングにつながること。
  • 最終隠れ状態をリッチな要約として扱うが、シーケンス初期の情報が実際に保持されているか確認しないこと。
  • 特にRNNが小さなデータセットに過学習する傾向があることを考慮して、適切なトレーニング/検証/テスト分割またはクロスバリデーションをスキップすること。
  • 入力特徴量の正規化またはスケーリングを行わず、勾配の不安定性を増幅させること。

よくある質問

RNN、LSTM、GRUの違いは何ですか?

RNNは最も単純なリカレントアーキテクチャであり、各ステップで更新される単一の隠れ状態を持つ。LSTMは、長距離情報を勾配消失から保護する入力ゲート、忘却ゲート、出力ゲートを追加する。GRUは、パラメータ数が少ないLSTMの合理化されたバージョンである。LSTMとGRUはどちらも、約50〜100ステップを超えるメモリを必要とするタスクでは、バニラRNNをほぼ常に上回る。

RNNのトレーニングでNaN損失が発生することがあるのはなぜですか?

NaN損失は、ほぼ常に勾配爆発に起因する。勾配クリッピング(ノルムを1または5にクリップ)を適用し、学習率を下げる。入力が正規化されていることを確認する。問題が続く場合は、ゲーティングメカニズムにより安定性が高いLSTMまたはGRUに切り替える。

2024年でもNLPタスクにRNNを使用できますか?

本番NLPでは、BERTやRoBERTaなどの事前学習済みトランスフォーマーが主流である。バニラRNNは、軽量ベースライン、より大きなアーキテクチャ内のコンポーネント、または大規模なモデルサイズが許容できないリソース制約のある環境に限定するのが最善である。

隠れ状態の次元をどのように選択しますか?

一般的な選択肢は、タスクの複雑さとデータセットのサイズに応じて64から512ユニットの範囲である。小さく(例:128)始めて、検証損失を監視し、過小適合が明らかでない限り容量を増やさない。隠れ状態が大きいと、小さなデータセットでの過学習のリスクが増加する。

シーケンス分類にはどの損失関数を使用すべきですか?

二項分類には二項クロスエントロピー、多クラス分類には最終隠れ状態に対するソフトマックスを用いたカテゴリカルクロスエントロピーを使用する。シーケンスラベリング(ステップごとの1つの出力)の場合は、各時間ステップで損失を適用し、ステップ間で平均または合計する。

関連する手法

参考文献

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    DOI 文献を開く
    コピーしました。
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    DOI 文献を開く
    コピーしました。