门控循环单元 (GRU)
- 提出者
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- 年份
- 2014
- 类型
- Recurrent neural network with gating
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
门控循环单元(Gated Recurrent Unit, GRU)由Cho等人于2014年提出,是一种简化的循环神经网络。它使用两个学习到的门——更新门和重置门——来选择性地保留或丢弃跨时间步的信息,从而以比LSTM更少的参数实现有效的序列建模。
方法背后的直觉
处理序列数据如同阅读一篇长文档,同时需要决定保留什么、遗忘什么。GRU的更新门控制着前一时刻隐藏状态有多少被传递到下一时刻,又有多少被新信息替换;而重置门则决定了过去的上下文在计算新的候选隐藏状态时应有多大程度的影响。这种门控机制使得网络能够捕捉长程依赖关系,而不会像简单的RNN那样受到梯度消失问题的困扰,并且其架构比拥有四个门的LSTM更简单、更快。
历史学
GRU由Cho等人于2014年作为RNN编码器-解码器框架的一部分引入,用于统计机器翻译。Chung等人(2014)的实证评估表明,GRU和LSTM在多声部音乐建模和语音信号建模方面取得了相似的性能,而GRU训练速度更快。它迅速成为标准的序列建模基线,并在NLP和时间序列研究中得到广泛应用。
何时使用
在处理自然语言、时间序列、语音或事件日志等序列数据时,尤其是在计算资源有限或训练速度至关重要的情况下,应选择GRU。因为GRU的训练速度更快,参数更少,而准确率通常与LSTM相当。它适用于文本分类、情感分析、命名实体识别、语言建模以及单变量或多变量时间序列预测等任务。当序列非常长,LSTM的额外记忆单元可能带来准确性优势,或者当计算资源充足时,应优先选择LSTM。对于非序列的表格数据,GRU不如前馈网络或基于树的模型更合适。
局限与注意事项
- 在处理非常长的序列时,GRU的表现可能不如LSTM,因为LSTM拥有独立的记忆单元,这会带来显著优势。
- 对于长上下文NLP任务,其计算速度比基于Transformer的模型慢,内存占用也更高。
- 固有的顺序计算限制了训练过程中的并行性,这一点不如Transformer。
- 对隐藏层大小、dropout和学习率等超参数敏感;需要仔细调优。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 比LSTM参数更少(两个门而非四个),导致训练更快,内存占用更低。
- 缓解了简单RNN的梯度消失问题,能够学习长程时间依赖关系。
- 尽管架构更简单,但在许多NLP和时间序列基准测试中,其准确性与LSTM相当。
- 调优更简便:相比LSTM,超参数更少(隐藏层大小、层数、dropout)。
- 双向和堆叠变体易于实现,可获得更丰富的上下文表示。
应用
- 对中短长度文档进行文本分类和情感分析。
- NLP管道中的命名实体识别和序列标注。
- 传感器数据、股票价格和能源消耗的时间序列预测。
- 语音识别和音频特征建模。
- 机器翻译的编码器-解码器架构。
- 序列事件日志和监控流中的异常检测。
使用方式
使用方式
在每个时间步,更新门利用当前输入和前一时刻的隐藏状态计算一个介于0和1之间的值。接近1的值表示大部分前一时刻的隐藏状态被保留;接近0的值表示大部分被替换。这个单一的门替代了LSTM中的输入门和遗忘门。
公式
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)重置门类似地产生一个介于0和1之间的值,该值调节了在计算候选新状态时前一时刻隐藏状态的可见程度。接近0的值有效地让网络忽略先前的上下文,使其能够重置并专注于当前输入。
公式
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)候选隐藏状态是通过当前输入和经过重置门处理的前一时刻隐藏状态,经tanh激活函数计算得出的。这代表了如果更新门允许完全替换先前的状态,则单元将存储的新信息。
公式
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)最终的隐藏状态是前一时刻隐藏状态与候选隐藏状态之间的线性插值:更新门的权重决定了各自保留的比例。这种凸组合能够清晰地将梯度反向传播到整个时间序列,帮助网络学习长程依赖关系。
公式
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t最终(或每个)时间步的隐藏状态会通过一个线性层和softmax(用于分类)或线性激活(用于回归)来产生模型的预测。对于序列到序列的任务,会使用所有时间步的隐藏状态。
公式
\hat{y}_t = \text{softmax}(W_o h_t + b_o)常见陷阱
- 在固定大小的表格数据上使用GRU,此时序列归纳偏置相比简单的MLP没有带来任何价值。
- 忽略了对可变长度序列进行填充(padding)和掩码(masking)处理,导致模型学习到填充产生的伪影。
- 未能应用梯度裁剪(gradient clipping),存在反向传播过程中梯度爆炸的风险。
- 仅报告准确率,而未根据任务类型报告序列级别的指标,如F1、BLEU或MAE。
- 在处理长文档NLP任务时选择GRU,而此时预训练的Transformer(如BERT、RoBERTa)会强大得多。
常见问题
何时应选择GRU而非LSTM?
当训练速度和参数效率很重要,且序列长度不是特别长时,GRU是一个不错的选择。LSTM由于其专用的记忆单元,在处理非常长的序列时可能具有优势,但实际效果往往因任务而异,因此最好同时尝试两者并在验证集上进行比较。
GRU能处理可变长度序列吗?
可以。将序列填充到批次内的统一长度,然后使用掩码层或PyTorch中的packed-sequence机制来告知GRU忽略填充标记。如果不进行掩码处理,模型会从填充中学习到虚假的模式。
是否应使用双向GRU?
对于在推理时可获得完整序列的任务(如文本分类或NER),双向GRU(BiGRU)会同时向前和向后处理每个序列,使每个标记都能访问过去和未来的上下文。对于实时或因果预测,只有前向是有效的。
GRU与Transformer相比仍有竞争力吗?
对于中小型数据集和较短序列,GRU仍然具有竞争力,并且训练速度远快于未经预训练的Transformer。对于大规模NLP任务,预训练的Transformer(如BERT、RoBERTa)通常会以较大优势胜过GRU。
需要调整的关键超参数有哪些?
最重要的超参数包括隐藏层大小(每层单元数)、堆叠层数(通常为1-3层)、层间dropout率以及学习率。强烈建议使用梯度裁剪(最大范数约为1-5)来稳定训练。
相关方法
参考文献
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
打开出版物文献已复制。Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
打开出版物文献已复制。