Skip to content
検索結果に戻る

ゲート付き再帰ユニット (GRU)

提唱者
Cho, K. et al.
年
2014
種類
Gated recurrent neural network unit

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ゲート付き再帰ユニット (GRU) は、2014年にChoらによって導入されたゲート付き再帰型ニューラルネットワークセルであり、更新ゲートとリセットゲートを使用して系列データにおける長距離依存性を捉え、より少ないパラメータでLSTMに匹敵する性能を達成します。

手法の背後にある直感

通常の再帰型ネットワークは、信号がステップごとに伝達される際に減衰または爆発するため、長い系列にわたる情報を記憶するのが困難です。GRUは、各タイムステップで過去のどの程度を保持し、どの程度新しい情報を吸収するかを学習する小さなゲートを追加します。LSTMの3つのゲートに対して2つだけのゲートで、有用な記憶を長い期間にわたって運びながら、より軽量で高速なトレーニングを維持します。

歴史学

GRUは、2014年にKyunghyun Choらによって、統計的機械翻訳のためのRNNエンコーダー-デコーダーフレームワーク内で導入されました。同年後半、Chung、Gulcehre、Cho、Bengioは、系列モデリングタスクでLSTMに対してゲート付き再帰ユニットを経験的に評価し、より単純な2ゲートGRUがLSTMの性能に匹敵しながら、より少ないパラメータを使用できることを示しました。これにより、系列モデリングのための人気のある軽量な代替手段となりました。

使うべき場面

系列データ(時系列または連続値またはテキストの縦断的系列)の予測、予報、分類に適しています。特に長距離依存性が重要であり、LSTMよりも高速なトレーニングが望ましい場合、少なくとも約100の観測値がある場合に有効です。正規分布データを仮定しません。約500未満の系列では過学習のリスクが高く、ランダムフォレストのようなより単純なモデルの方が安全です。約100未満では、再帰的トレーニングは意味がなく、XGBoostが好ましいです。

限界と注意点

  • 小さなデータセット(約500未満の系列)では過学習のリスクが高いです。
  • 系列データを必要とします。約100未満の観測値では意味がありません。
  • 再帰的なブラックボックスとして、解釈可能な明示的な係数を提供しません。
  • すべての再帰モデルと同様に、系列長とトレーニング設定に敏感になる可能性があります。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 学習された更新ゲートとリセットゲートを介して、系列データにおける長距離依存性を捉えます。
  • LSTMと同等の精度をより少ないパラメータで達成するため、より高速にトレーニングできます。
  • 仮定が少ない:正規分布データを必要としません。
  • 時系列および連続値またはテキストの縦断的系列に適しています。

応用

  • 時系列および縦断的系列の予報と予測。
  • 連続値またはテキスト入力を超える系列分類。
  • LSTMレベルの容量が必要で、より低コストで長距離依存性をモデリングする。
  • より重い系列モデルに到達する前の、より高速な再帰的ベースライン。

使い方

使い方

1

各タイムステップで、ユニットは現在の入力と前の隠れ状態から2つのゲートを計算します。更新ゲートは、前の状態をどれだけ引き継ぐか、どれだけ更新するかを決定し、リセットゲートは、新しい候補状態を形成する際に過去のどれだけを無視するかを決定します。どちらもシグモイド関数によって0から1の間の値に圧縮されます。

数式
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

現在の入力とリセットゲートでフィルタリングされた前の状態を組み合わせた候補隠れ状態が提案されます。リセットゲートがゼロに近い場合、ユニットは効果的に過去を忘れ、新しい入力に反応します。1に近い場合、以前のコンテキストを新しい候補にブレンドします。

数式
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

新しい隠れ状態は、更新ゲートによって制御される、前の状態と候補との間のゲート付き補間です。この単一のブレンドステップにより、ユニットは多くのタイムステップにわたって記憶を保持することも、迅速に更新することも可能になり、これがGRUが個別のメモリセルなしで長期依存性を捉えることを可能にします。

数式
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

よくある落とし穴

  • GRUを、トレーニングデータを単純に記憶するだけの非常に小さな系列データセットに適用する。
  • 入力が順序付けられていない表形式の行ではなく、実際の系列を形成することを忘れる。
  • 適切な訓練/検証分割をスキップし、サンプル内系列適合を信頼する。
  • 小さなデータでより良く一般化できる単純なモデルがある場合に、再帰型ネットワークに手を伸ばす。

よくある質問

GRUはLSTMとどのように異なりますか?

GRUは2つのゲート(更新とリセット)と1つの隠れ状態を使用しますが、LSTMは3つのゲートと個別のメモリセルを使用します。したがって、GRUはパラメータが少なく、多くの系列タスクで同等の性能を達成しながら、より高速にトレーニングできます。

GRUはどのくらいのデータが必要ですか?

少なくとも約100の観測値を持つ系列データを必要とします。約500未満の系列では過学習のリスクが高いため、ランダムフォレストのようなより単純なモデルの方が安全です。約100未満では、再帰型ネットワークは意味がなく、XGBoostが好ましいです。

GRUは正規分布データを仮定しますか?

いいえ。他の再帰型ニューラルネットワークと同様に、正規性の仮定はしません。必要とするのは、時系列や縦断的系列のような、真に系列的な入力です。

より重いモデルよりもGRUを好むべきなのはいつですか?

系列における長距離依存性を捉える必要があるが、LSTMよりも高速で軽量なトレーニングを望み、過学習を回避するのに十分な系列データがある場合にGRUを選択してください。

関連する手法

参考文献

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    出版物の文献を開く
    コピーしました。
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    出版物の文献を開く
    コピーしました。