Gated Recurrent Unit (GRU)
- 提唱者
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- 年
- 2014
- 種類
- Recurrent neural network with gating
- 系統
- Deep learning / NLP / CV
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
2014年にChoらによって導入されたGated Recurrent Unit (GRU) は、更新ゲートとリセットゲートという2つの学習済みゲートを用いて、タイムステップ間で情報を選択的に保持または破棄する、合理化されたリカレントニューラルネットワークであり、LSTMよりも少ないパラメータで効果的なシーケンスモデリングを可能にします。
手法の背後にある直感
シーケンスの処理は、長い文書を読みながら、何を覚えて何を忘れるかを決定するようなものです。GRUの更新ゲートは、前の隠れ状態のどれだけを先に引き継ぎ、どれだけを新しい情報で置き換えるかを制御し、リセットゲートは、過去のコンテキストのどれだけが新しい候補隠れ状態の計算に影響を与えるかを決定します。このゲーティングメカニズムにより、ネットワークは単純なRNNを悩ませる勾配消失問題なしに長期依存性を捉えることができ、LSTMよりもシンプルで高速なアーキテクチャでこれを実現します。
歴史学
GRUは、2014年にChoらによって統計的機械翻訳のためのRNNエンコーダー・デコーダーフレームワークの一部として導入されました。Chungら(2014)は、GRUとLSTMがポリフォニック音楽モデリングおよび音声信号モデリングで同様のパフォーマンスを達成し、GRUの方がトレーニングが速いことを示す経験的評価を提供しました。GRUは急速に標準的なシーケンスモデリングのベースラインとなり、NLPおよび時系列研究で広く使用され続けています。
使うべき場面
自然言語、時系列、音声、イベントログなどのシーケンシャルデータで作業する場合、特に計算リソースが限られている場合やトレーニング速度が重要な場合は、GRUを使用してください。GRUはLSTMよりも高速にトレーニングでき、パラメータ使用量も少ない一方で、精度は同等であることがよくあります。テキスト分類、感情分析、固有表現認識、言語モデリング、単変量または多変量時系列予測などのタスクに適しています。LSTMは、非常に長いシーケンスを扱い、LSTMの追加メモリセルが精度上の利点をもたらす可能性がある場合、または追加の計算リソースを確保できる場合に優先してください。シーケンシャルでない表形式データには、フィードフォワードネットワークやツリーベースのモデルがより適切であるため、GRUの使用は避けてください。
限界と注意点
- LSTMの個別のメモリセルが明確な利点をもたらす非常に長いシーケンスでは、LSTMよりも性能が劣る可能性があります。
- 長いコンテキストのNLPタスクでは、Transformerベースのモデルよりも遅く、メモリ消費量が多いです。
- 本質的に逐次的な計算は、Transformerとは異なり、トレーニング中の並列処理を制限します。
- 隠れサイズ、ドロップアウト、学習率などのハイパーパラメータに敏感であり、慎重なチューニングが必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- LSTMよりも少ないパラメータ(4つではなく2つのゲート)で、トレーニングが高速化し、メモリ使用量が削減されます。
- 単純なRNNの勾配消失問題を緩和し、長期的な時間依存性の学習を可能にします。
- よりシンプルなアーキテクチャにもかかわらず、多くのNLPおよび時系列ベンチマークでLSTMと同等の精度を達成します。
- LSTMよりも調整するハイパーパラメータが少ない(隠れサイズ、レイヤー数、ドロップアウト)ため、調整が容易です。
- 双方向およびスタック型バリアントは、よりリッチなコンテキスト表現のために簡単に実装できます。
応用
- 短〜中程度の長さの文書に対するテキスト分類および感情分析。
- NLPパイプラインにおける固有表現認識およびシーケンスラベリング。
- センサーデータ、株価、エネルギー消費量の時系列予測。
- 音声認識および音声特徴モデリング。
- 機械翻訳のエンコーダー・デコーダーアーキテクチャ。
- シーケンシャルイベントログおよび監視ストリームにおける異常検知。
使い方
使い方
各タイムステップにおいて、更新ゲートは現在の入力と前の隠れ状態を用いて0から1の間の値を計算します。値が1に近い場合は、前の隠れ状態の大部分が保持されることを意味し、0に近い場合は、大部分が置き換えられることを意味します。この単一のゲートは、LSTMの入力ゲートと忘却ゲートの両方を置き換えます。
数式
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)リセットゲートも同様に、候補状態を計算する際に前の隠れ状態のどれだけを露出させるかを調整する0から1の間の値を生成します。値が0に近いと、ネットワークは事実上過去のコンテキストを無視し、リセットして現在の入力に集中することができます。
数式
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)候補隠れ状態は、現在の入力とリセットゲートで処理された前の隠れ状態をtanh活性化関数を通して計算されます。これは、更新ゲートが前の状態を完全に置き換えることを許可した場合にセルが格納する新しい情報となります。
数式
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)最終的な隠れ状態は、前の隠れ状態と候補状態の線形補間です。更新ゲートの重みが、それぞれの状態のどれだけを保持するかを決定します。この凸結合は、勾配を時間を通してきれいに伝播させ、ネットワークが長期依存性を学習するのを助けます。
数式
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t最終(または各)タイムステップの隠れ状態は、線形層とソフトマックス(分類の場合)または線形活性化(回帰の場合)を通してモデルの予測を生成します。シーケンス・ツー・シーケンス・タスクでは、すべてのタイムステップの隠れ状態が使用されます。
数式
\hat{y}_t = \text{softmax}(W_o h_t + b_o)よくある落とし穴
- シーケンシャルな帰納バイアスが単純なMLPに対する価値を付加しない、固定サイズの表形式データにGRUを使用すること。
- 可変長シーケンスのパディングとマスキングを怠り、モデルがパディングのアーティファクトを学習してしまうこと。
- バックプロパゲーション・スルー・タイムでの勾配爆発のリスクを回避するために、勾配クリッピングを適用しないこと。
- タスクに応じてF1、BLEU、またはMAEなどのシーケンスレベルのメトリックではなく、精度のみを報告すること。
- 長文NLPに対して、はるかに強力な事前学習済みTransformer(BERT、RoBERTa)を使用できる場合に、GRUを選択すること。
よくある質問
いつGRUをLSTMの代わりに選択すべきですか?
GRUは、トレーニング速度とパラメータ効率が重要であり、シーケンスが極端に長くない場合に良いデフォルト選択肢です。LSTMは、専用のメモリセルのおかげで非常に長いシーケンスで優位性を持つことがありますが、経験的な結果はタスク固有であることが多いため、両方を試して検証セットで比較することをお勧めします。
GRUは可変長シーケンスを処理できますか?
はい。各バッチ内でシーケンスを均一な長さにパディングし、次にマスキングレイヤーまたはPyTorchのpacked-sequenceメカニズムを使用して、GRUにパディングトークンを無視するように指示します。マスキングなしでは、モデルはパディングから偽のパターンを学習します。
双方向GRUを使用すべきですか?
推論時にシーケンス全体が利用可能なタスク(テキスト分類やNERなど)では、双方向GRU(BiGRU)は各シーケンスを順方向と逆方向の両方で処理し、各トークンが過去と未来の両方のコンテキストにアクセスできるようにします。リアルタイムまたは因果的予測では、順方向のみが有効です。
GRUはTransformerに対してまだ競争力がありますか?
小〜中規模のデータセットおよび短いシーケンスの場合、GRUは競争力を維持し、事前学習なしのTransformerよりもはるかに高速にトレーニングできます。大規模なNLPタスクでは、事前学習済みTransformer(BERT、RoBERTa)は通常、GRUを大幅に上回ります。
調整すべき主要なハイパーパラメータは何ですか?
最も重要なのは、隠れサイズ(レイヤーあたりのユニット数)、スタックレイヤー数(1〜3が一般的)、レイヤー間のドロップアウト率、および学習率です。勾配クリッピング(最大ノルム約1〜5)は、トレーニングを安定させるために強く推奨されます。
関連する手法
参考文献
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
出版物の文献を開くコピーしました。Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
出版物の文献を開くコピーしました。