长短期记忆网络
- 提出者
- Hochreiter, S. & Schmidhuber, J.
- 年份
- 1997
- 类型
- Recurrent neural network (gated memory cell)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
长短期记忆网络(LSTM)是一种循环神经网络架构,由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出,能够学习序列数据中的长期依赖关系,并广泛用于时间序列和序列预测。它维护一个内部记忆,使信息能够跨越多个时间步保持不变。
方法背后的直觉
普通的循环网络难以将信息传递到长序列的早期部分,因为学习信号会随着距离的增加而衰减。LSTM通过为每个单元提供一个可以随时间保持值的记忆单元,以及控制记忆什么、遗忘什么和传递什么的门控机制来解决这个问题。因此,该网络能够连接序列中相距遥远的时间点,这正是时间序列和序列问题所要求的。
历史学
LSTM由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出,旨在克服阻碍早期循环网络学习长程依赖的梯度消失问题。其门控记忆单元成为序列建模的基石,并在注意力机制架构出现之前成为时间序列和序列预测任务的标准选择。
何时使用
适用于对具有时间序列或纵向结构、需要考虑长期时间模式且有大型数据集(约500个或更多观测值)的连续或日期索引序列进行预测和预报。输入必须进行归一化,并推荐GPU加速。在较小的样本上,网络容易过拟合,因此更简单的模型,如随机森林(500以下)或XGBoost(200以下),更为稳妥。
局限与注意事项
- 需要大型数据集(约500个或更多观测值)才能可靠地进行训练。
- 在小样本上容易过拟合,此时更简单的机器学习模型泛化能力更好。
- 训练前必须对输入进行归一化,增加了强制性的预处理步骤。
- 计算量大;实际训练强烈推荐GPU加速。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 学习普通循环网络会丢失的序列数据中的长期依赖关系。
- 非常适合时间序列和纵向预测以及序列预测。
- 对分布的假设较少:不需要正态分布的数据。
- 原生处理连续和日期索引的序列输入。
应用
- 对连续或日期索引数据进行时间序列预测。
- 需要考虑长期时间模式的序列预测。
- 对跨越多个时间步的依赖关系进行纵向数据建模。
- 对需要时间记忆的关键的大型序列数据集进行预测任务。
使用方式
使用方式
每个LSTM单元都带有一个记忆单元,其状态会沿着序列向前传递。这个单元充当信息传送带,让相关信号在多个时间步内保持不变,而不是在一两个时间步后衰减,这使得网络能够学习长期依赖关系。
门控机制调节信息流入和流出记忆单元:一个门决定保留多少过去的状态,一个门决定写入什么新信息,还有一个门决定将什么信息作为单元的响应读出。通过从数据中学习这些门控,网络可以控制长序列的记忆,而不是被它压垮。
随着序列的逐步处理,每个时间步的门控隐藏状态会馈送到输出层,生成预测——例如时间序列中的下一个值。由于输入必须进行归一化,并且网络规模较大,训练需要相当大的数据集(约500个或更多观测值),并且最好进行GPU加速。
公式
\hat{y}_t = f(h_t)常见陷阱
- 输入未归一化,这会使训练不稳定。
- 在少于约500个观测值的数据上进行训练,并相信结果,而不是回退到更简单的模型。
- 将深度循环网络应用于经典机器学习足以处理的非常小的样本。
- 忽略过拟合,并将样本内拟合报告为预测性能。
常见问题
LSTM需要多少数据?
它适用于大型数据集——大约500个观测值或更多。在此以下,网络倾向于过拟合且泛化能力差,因此推荐使用随机森林等更简单的模型作为后备,而在约200个观测值以下,XGBoost是更好的选择。
我必须对输入进行归一化吗?
是的。归一化是LSTM的强制性预处理步骤;未缩放的输入会使训练不稳定并降低结果。
LSTM与普通循环网络有何不同?
LSTM增加了记忆单元和门控机制,用于控制记忆、遗忘和输出。这使其能够跨越长序列传递信息并学习普通循环网络因梯度消失而丢失的长期依赖关系。
需要GPU吗?
并非严格必需,但强烈推荐GPU加速,因为在大型序列数据集上训练LSTM计算量很大。
相关方法
参考文献
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
打开 DOI 文献已复制。