Skip to content
返回搜索结果

长短期记忆网络(LSTM)

提出者
Hochreiter, S. & Schmidhuber, J.
年份
1997
类型
Recurrent neural network with gated memory cells
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

长短期记忆网络(LSTM)是一种由Hochreiter和Schmidhuber于1997年提出的门控循环神经网络架构。它通过使用专用的记忆单元和三个学习到的门——遗忘门、输入门和输出门——来控制每个时间步保留、更新或向前传递的信息,从而学习长序列中的依赖关系。

方法背后的直觉

普通的循环网络试图通过重用单个隐藏状态来传递信息,但梯度在长序列中会缩小或爆炸,使得学习跨越多个时间步的依赖关系几乎不可能。LSTM通过一个独立的记忆单元来解决这个问题,该单元像传送带一样工作:遗忘门决定删除哪些旧信息,输入门添加新信息,输出门决定单元向下一层暴露多少信息。由于单元可以在许多时间步内基本不变地携带信息,因此在训练过程中梯度流动更可靠,使网络能够学习跨越句子、段落或长时窗口的模式。

历史学

Hochreiter和Schmidhuber于1997年引入了LSTM架构,以解决阻碍普通RNN学习长程依赖的梯度消失问题。在2000年代,它仍然是一个研究的奇迹;到2010年代初,在Graves和Hinton关于语音识别以及Sutskever关于序列到序列学习的工作推动下,LSTM成为序列任务的主导架构。它们一直保持这一地位,直到大约2018-2019年被Transformer超越,尽管LSTM在时间序列和资源受限的环境中仍然被广泛使用。

何时使用

LSTM非常适合那些观测顺序很重要且相关上下文可能跨越多个时间步的任务:文本分类、情感分析、命名实体识别、机器翻译、时间序列预测和语音处理。当你的序列长度适中(几十到几百个时间步)且有足够标记数据(通常是数千个样本)来学习门参数时,选择LSTM。对于非常长的序列或并行性至关重要的场景,Transformer通常更优。对于较短的序列或简洁性很重要时,GRU(参数更少)或微调的预训练模型(BERT、RoBERTa)可能更合适。

局限与注意事项

  • 训练速度比Transformer慢,因为顺序计算无法完全并行化。
  • 需要大量的标记数据;在小数据集上,尽管有dropout,它仍然容易过拟合。
  • 非常长的序列(数百个时间步)由于单元容量有限,仍然对LSTM构成挑战。
  • 超参数调整——隐藏单元、层数、dropout、学习率——可能耗时。
  • 对于许多NLP任务,预训练的Transformer模型现在优于从头开始训练的LSTM。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 明确设计用于捕获长程依赖关系而没有梯度消失问题。
  • 灵活的架构:适用于序列分类、令牌标注、生成和预测。
  • 可解释的门控结构——遗忘门、输入门和输出门——相对于黑盒替代方案。
  • 双向扩展(BiLSTM)通过双向处理序列来加倍上下文。
  • 在NLP、语音和时间序列领域拥有大量已验证的应用。

应用

  • 文档或评论的文本分类和情感分析。
  • 序列标注:命名实体识别、词性标注。
  • 时间序列预测:股票价格、传感器读数、能源需求。
  • 语音识别作为声学模型组件。
  • 通过编码器-解码器LSTM架构进行机器翻译。
  • 序列日志或传感器数据的异常检测。

使用方式

使用方式

1

在每个时间步,遗忘门接收前一个隐藏状态和当前输入,通过sigmoid函数处理,并为每个单元状态元素产生一个介于0和1之间的值。接近0的值会从记忆中擦除该元素;接近1的值会保留它。这种学习到的擦除机制允许LSTM丢弃不再相关的上下文。

公式
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

输入门也通过sigmoid激活,决定候选单元状态(通过tanh计算)的哪些元素应该被写入单元。遗忘门和输入门共同作用,使网络能够选择性地记住新信息,同时丢弃过时信息,而不会出现困扰标准RNN的梯度消失问题。

公式
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

单元状态通过将旧单元状态与遗忘门输出进行逐元素乘法,然后加上输入门与候选单元状态的逐元素乘积来更新。这种加性更新是梯度能够反向传播许多时间步而不消失的关键原因:通过单元状态的路径涉及加法而不是重复乘法。

公式
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

输出门控制(经过tanh压缩的)单元状态有多少被暴露为传递到下一个时间步和上一层的隐藏状态。这种内部记忆与暴露表示的分离,为LSTM在序列任务中提供了额外的灵活性。

公式
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

根据任务的不同,LSTM可以返回最终隐藏状态(序列分类)、所有隐藏状态(序列标注、翻译)或两者都返回。实践中,堆叠多个LSTM层并在它们之间添加dropout可以提高表示能力,同时减少过拟合。

常见陷阱

  • 在序列长度变化时,使用LSTM而不进行填充和掩码,会导致填充的零产生静默错误。
  • 在推理时忘记将网络设置为评估模式(禁用dropout)。
  • 在没有梯度裁剪的情况下进行训练,这可能导致即使在LSTM中也会出现梯度爆炸。
  • 在不平衡的序列数据集上仅报告准确率,而不是每类F1分数或AUC。
  • 将单向LSTM视为足以处理(如NER或掩码预测)需要未来上下文的任务。

常见问题

LSTM和GRU有什么区别?

GRU将遗忘门和输入门合并为一个更新门,并且没有单独的单元状态,因此参数更少,训练更快。LSTM在需要非常精确的长期记忆的任务上往往略优于GRU,但差异通常很小且取决于数据集。

我应该使用双向LSTM吗?

如果你的任务在做出预测之前可以访问整个序列——分类、NER或离线预测——那么BiLSTM通常通过结合过去和未来的上下文来提高准确性。如果必须实时做出预测(在线预测、流式处理),则使用单向LSTM。

何时应该选择Transformer而不是LSTM?

对于大多数具有足够计算资源的现代NLP任务,预训练的Transformer(BERT、RoBERTa)优于从头开始训练的LSTM。当计算或延迟受限、序列是数值时间序列而非文本,或者数据量不足以微调大型预训练模型时,选择LSTM。

如何处理可变长度序列?

将较短的序列填充到公共长度,创建掩码以在损失计算中忽略填充标记,并使用打包序列(PyTorch)或掩码层(Keras/TensorFlow),以便填充位置不会影响隐藏状态。

我应该使用多少个LSTM层和隐藏单元?

对于大多数任务,一到两层堆叠的LSTM,每个层有64-512个隐藏单元是一个合理的起始范围。更多的层和单元会增加容量,但也会增加训练时间和过拟合的风险;在层之间使用dropout,并通过保留集或交叉验证进行验证。

相关方法

参考文献

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    打开 DOI 文献
    已复制。
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    打开 DOI 文献
    已复制。