循环神经网络
- 提出者
- Rumelhart, D. E.; Elman, J. L.
- 年份
- 1986–1990
- 类型
- Sequential neural network
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
循环神经网络(Recurrent Neural Network, RNN)是一种旨在通过维护一个在时间步之间传递信息的隐藏状态来处理序列数据的神经网络。其现代形式由Rumelhart等人于1986年提出,并由Elman于1990年进一步完善。在基于注意力机制的模型兴起之前,RNN曾是自然语言处理、语音识别和时间序列分析中序列建模的主导架构。
方法背后的直觉
与将每个输入独立处理的前馈网络不同,RNN一次处理序列中的一个元素,并将其到目前为止所见内容的摘要——即其隐藏状态——传递给下一步。可以将其想象成逐字阅读句子:在每个词处,您都会根据所有先前的词来更新您的理解。这种循环连接允许网络捕获时间依赖性和上下文,使其天然适用于顺序很重要且过去上下文塑造当前元素含义的任务。
历史学
循环网络的基础由Rumelhart、Hinton和Williams于1986年通过时间反向传播算法奠定,Elman在1990年的论文推广了用于认知建模的简单循环网络架构。在1990年代和2000年代,RNN推动了语音识别和语言建模的发展,但由于梯度消失问题,其实际影响受到限制,直到Hochreiter和Schmidhuber于1997年引入LSTM。RNN作为概念锚点和轻量级基线仍然很重要。
何时使用
当您的数据是序列性的且顺序具有意义时——文本、语音、传感器流、金融时间序列或中等长度(最多几百步)的生物序列——请使用RNN。当您需要紧凑的循环架构或计划与LSTM/GRU变体进行下游集成时,它也是合适的。对于超过几百步的序列,请勿使用普通RNN:梯度消失使其无法学习长距离依赖,而LSTM或GRU在这方面更有效。对于2024年及以后的自然语言理解任务,预训练的Transformer(BERT、RoBERTa)几乎总是优于RNN。主要将RNN用作大型架构中的组件或作为序列任务的基线。
局限与注意事项
- 对于长度超过大约50-200步的序列,存在严重的梯度消失/爆炸问题;应优先选择LSTM或GRU。
- 序列计算无法在时间步之间并行化,与卷积或Transformer架构相比,长序列的训练速度较慢。
- 在大多数自然语言处理基准测试中,预训练的Transformer模型(如BERT和RoBERTa)的表现大大优于它。
- 记忆容量有限:固定维度的隐藏状态难以压缩长距离上下文。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 无需将序列填充到固定窗口大小,即可自然处理变长序列。
- 跨时间步的参数共享使得模型大小相对于输入长度而言易于管理。
- 为LSTM、GRU和许多现代序列模型奠定了概念和实践基础。
- 在采用更昂贵的架构之前,可作为序列分类和回归的轻量级基线。
- 可以在每个时间步产生输出,从而实现序列标注和翻译等多对多任务。
应用
- 对中短文档进行文本分类和情感分析。
- 字符或词级别的语言建模和下一词预测。
- 中等长度的传感器、金融或生理数据的时间序列预测。
- 用作编码器时,执行词性标注等序列标注任务。
- 语音转文本和音频特征提取管道。
- 在升级到LSTM、GRU或Transformer架构之前的基线序列建模。
使用方式
使用方式
输入是向量序列(词、时间步、帧),每次一个元素地馈入网络。每个元素x_t与从上一步传递的隐藏状态h_{t-1}配对,从而使上下文能够在整个序列中累积。
在每个时间步t,隐藏状态更新为h_t = tanh(W_h * h_{t-1} + W_x * x_t + b)。权重矩阵W_h和W_x在所有时间步之间共享,因此模型学习一个单一的转换规则,该规则被重复应用,无论序列长度如何。
公式
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)输出y_t可以在每个时间步(多对多)或仅在最后一步(多对一)从隐藏状态计算。对于分类任务,最终隐藏状态被传递给一个softmax层;对于序列到序列任务,在每个时间步都会产生输出。
公式
y_t = W_y h_t + b_y
训练使用时间反向传播(Backpropagation Through Time, BPTT):梯度通过展开的序列反向流动,以更新所有共享权重。对于长序列,这会导致梯度消失或梯度爆炸问题,即梯度变得过小或过大,无法可靠地更新早期时间步。
共享权重W_h、W_x和W_y通过梯度下降或自适应优化器(Adam、RMSProp)进行更新。通常应用梯度裁剪以防止梯度爆炸。相同的权重控制着每个步骤,因此模型可以泛化到不同长度的序列。
常见陷阱
- 在不考虑梯度消失限制且未与LSTM/GRU进行基准测试的情况下,将普通RNN应用于长序列。
- 未能裁剪梯度,导致NaN损失或在较长输入上训练不稳定。
- 将最终隐藏状态视为丰富的摘要,而未检查早期序列信息是否实际保留。
- 跳过适当的训练/验证/测试划分或交叉验证,特别是考虑到RNN容易对小数据集过拟合的倾向。
- 未对输入特征进行归一化或缩放,这会放大梯度不稳定性。
常见问题
RNN、LSTM和GRU之间有什么区别?
RNN是最简单的循环架构:它在每个步骤更新一个隐藏状态。LSTM增加了输入门、遗忘门和输出门,以保护长距离信息免受梯度消失的影响。GRU是LSTM的简化版本,参数更少。在需要超过约50-100步记忆的任务中,LSTM和GRU几乎总是优于普通RNN。
为什么训练RNN有时会产生NaN损失?
NaN损失几乎总是由梯度爆炸引起。应用梯度裁剪(将范数裁剪到1或5)并降低学习率。确保输入已归一化。如果问题仍然存在,请切换到LSTM或GRU,它们由于其门控机制而更稳定。
2024年我还能将RNN用于自然语言处理任务吗?
对于生产环境中的自然语言处理,BERT或RoBERTa等预训练Transformer模型占据主导地位。普通RNN最好仅用作轻量级基线、大型架构中的组件,或在大型模型尺寸过高而受资源限制的环境中使用。
如何选择隐藏状态维度?
常见的选择范围从64到512个单元,具体取决于任务复杂度和数据集大小。从小处开始(例如128),监控验证损失,并且仅在出现欠拟合时才增加容量。较大的隐藏状态会增加在小数据集上过拟合的风险。
序列分类应该使用什么损失函数?
对于二分类,使用二元交叉熵;对于多分类,使用带有softmax的最终隐藏状态的分类交叉熵。对于序列标注(每步一个输出),在每个时间步应用损失并跨时间步求平均或求和。