Skip to content
返回搜索结果

门控循环单元 (GRU)

提出者
Cho, K. et al.
年份
2014
类型
Gated recurrent neural network unit

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

门控循环单元 (GRU) 是 Cho 及其同事于 2014 年推出的一种门控循环神经网络单元,它使用更新门和重置门来捕捉序列数据中的长期依赖关系,参数比 LSTM 少,性能与之相当。

方法背后的直觉

普通的循环网络在跨长序列传递信息时会遇到困难,因为信号在逐步传递过程中会衰减或爆炸。GRU 增加了小的门控单元,在每个时间步学习保留多少历史信息以及吸收多少新信息。GRU 只有两个门,而 LSTM 有三个,它能在保持模型更轻量、训练更快速的同时,跨越长序列传递有效信息。

历史学

GRU 由 Kyunghyun Cho 及其同事于 2014 年在统计机器翻译的 RNN 编码器-解码器框架中首次提出。同年晚些时候,Chung、Gulcehre、Cho 和 Bengio 在序列建模任务上对门控循环单元与 LSTM 进行了实证评估,结果表明,参数更少的、只有两个门的 GRU 在性能上可以媲美 LSTM,使其成为一种流行的、更轻量级的序列建模替代方案。

何时使用

适用于序列数据(时间序列或连续值或文本的纵向序列)的预测、预报和分类,当长期依赖关系很重要且希望比 LSTM 训练更快时,至少需要约 100 个观测值。它不假设数据服从正态分布。如果序列少于约 500 个,过拟合风险很高,使用随机森林等更简单的模型更安全;少于约 100 个,循环训练无意义,XGBoost 更可取。

局限与注意事项

  • 在小型数据集(少于约 500 个序列)上过拟合风险高。
  • 需要序列数据;少于约 100 个观测值时无意义。
  • 作为一个循环黑盒,它不提供可解释的显式系数。
  • 像所有循环模型一样,它可能对序列长度和训练设置敏感。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过学习到的更新门和重置门捕捉序列数据中的长期依赖关系。
  • 与 LSTM 相比,精度相当,但参数更少,因此训练更快。
  • 假设较少:不要求数据服从正态分布。
  • 非常适合连续值或文本的时间序列和纵向序列。

应用

  • 对时间序列和纵向序列进行预报和预测。
  • 对连续值或文本输入的序列进行分类。
  • 在需要 LSTM 级别容量但成本更低的场景下,对长序列依赖关系进行建模。
  • 在选择更重的序列模型之前,作为一个更快的循环基线模型。

使用方式

使用方式

1

在每个时间步,单元根据当前输入和前一隐藏状态计算两个门。更新门决定了前一状态保留多少以及更新多少,而重置门决定了在形成新的候选状态时忽略多少历史信息。两者都通过 sigmoid 函数压缩到零到一之间的值。

公式
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

候选隐藏状态是从当前输入与经过重置门过滤的前一状态组合而成的。当重置门接近零时,单元有效地遗忘过去并对新输入做出反应;当接近一时,它将先前上下文融入新的候选状态。

公式
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

新的隐藏状态是前一状态与候选状态之间由更新门控制的门控插值。这个单一的融合步骤使单元能够跨越多个时间步保留记忆或快速更新,这使得 GRU 能够在没有单独记忆单元的情况下捕捉长期依赖关系。

公式
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

常见陷阱

  • 将 GRU 应用于微小的序列数据集,此时它只会记住训练数据。
  • 忘记输入必须构成真正的序列,而不是无序的表格行。
  • 跳过适当的训练/验证分割,仅信任样本内序列拟合。
  • 在数据量小的情况下,选择循环网络而不是更简单的模型进行泛化。

常见问题

GRU 与 LSTM 有何区别?

GRU 使用两个门(更新门和重置门)和一个隐藏状态,而 LSTM 使用三个门和一个单独的记忆单元。因此,GRU 的参数更少,训练速度更快,同时在许多序列任务上达到与 LSTM 相当的性能。

GRU 需要多少数据?

它需要至少约 100 个观测值的序列数据。如果序列少于约 500 个,过拟合风险很高,因此使用随机森林等更简单的模型更安全;少于约 100 个,循环网络无意义,XGBoost 更可取。

GRU 是否假设数据服从正态分布?

否。与其他循环神经网络一样,它不作正态性假设;它需要的是真正的序列输入,如时间序列或纵向序列。

何时应优先选择 GRU 而非更重的模型?

当您需要捕捉序列中的长期依赖关系,但希望训练速度更快、模型更轻量(优于 LSTM),并且有足够的序列数据来避免过拟合时,请选择 GRU。

相关方法

参考文献

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    打开出版物文献
    已复制。
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    打开出版物文献
    已复制。