序列到序列模型
- 提出者
- Sutskever, I.; Cho, K.
- 年份
- 2014
- 类型
- Encoder-decoder neural network (deep learning)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
序列到序列(Seq2Seq)模型由 Sutskever、Vinyals 和 Le 以及 Cho 及其同事于 2014 年提出,是一种编码器-解码器神经网络,它将可变长度的输入序列映射到可变长度的输出序列。它是机器翻译、文本摘要、对话系统和代码生成的基础。
方法背后的直觉
许多语言任务将一个序列转换为另一个长度不同且事先未知的序列——例如,一个英文句子会变成一个不同长度的法文句子。单个分类器无法完成此任务。Seq2Seq 将工作分为两部分:一个网络读取整个输入并将其含义压缩成一个上下文表示,第二个网络则将该表示逐个令牌地展开为输出,每个新令牌都取决于它已经生成的内容。
历史学
编码器-解码器框架于 2014 年由两篇几乎同时发表的论文提出:Sutskever、Vinyals 和 Le 的《Sequence to Sequence Learning with Neural Networks》以及 Cho 及其同事的用于统计机器翻译的 RNN 编码器-解码器。最初的模型将源压缩成单个固定的上下文向量;随后添加的注意力机制消除了这一瓶颈,并显著提高了翻译质量,为现在主导序列建模的 Transformer 架构铺平了道路。
何时使用
当任务是将一个可变长度序列转换为另一个序列时——例如机器翻译、摘要、对话或代码生成——并且您拥有成对的源-目标示例(理想情况下至少约 500 个),请使用 Seq2Seq。它适用于文本和时间序列或横截面形式的连续序列,并且不需要正态分布数据。建议使用 GPU。如果成对示例远少于 500 个,则编码器-解码器结构无法很好地学习,此时使用随机森林或 XGBoost 等更简单的模型会更安全。
局限与注意事项
- 需要大量成对的源-目标示例(约 500 个或更多)才能良好训练。
- 建议使用 GPU;训练计算量大。
- 在没有注意力的情况下,将长输入压缩成单个固定上下文可能会丢失信息。
- 在小型数据集上,编码器-解码器结构无法学习,模型会过拟合。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 处理可变长度输入和输出,与固定输出分类器不同。
- 一个用于翻译、摘要、对话和代码生成的单一通用框架。
- 从成对的源-目标示例端到端训练,无需手动对齐。
- 添加注意力机制后性能显著提高。
- 假设少:无正态性要求;适用于文本和连续序列数据。
应用
- 语言对之间的机器翻译。
- 抽象文本摘要。
- 对话和会话响应生成。
- 从自然语言描述生成代码。
使用方式
使用方式
编码器网络逐个令牌地读取输入序列,并将整个源压缩成一个概括其含义的上下文表示。由于编码器在生成任何输出之前处理整个输入,因此该模型可以处理任何长度的输入。
公式
c = \text{Encoder}(x_1, \dots, x_T)解码器网络一次生成一个令牌的输出序列。在每个步骤中,它都以编码器的上下文以及它已经发出的令牌为条件,预测下一个令牌的概率分布,直到停止符号结束序列。这就是输出长度可以与输入长度不同的原因。
公式
p(y_t \mid y_{<t}, c)编码器和解码器共同训练,以最大化给定源的正确目标序列的可能性——监督来自成对的源-目标示例。添加注意力机制(允许解码器查看所有编码器状态而不是单个固定上下文)可以提高性能,建议使用 GPU 进行训练。
公式
\max_{\theta} \sum \log p(y \mid x; \theta)常见陷阱
- 在过少的源-目标对上进行训练,导致模型过拟合且未能学习映射。
- 在长序列上省略注意力机制,导致丢失远距离上下文。
- 尝试在没有 GPU 资源的情况下进行训练,并在收敛之前放弃。
- 将 Seq2Seq 用于固定输出任务,而更简单的分类器或回归器可以更好地处理。
常见问题
Seq2Seq 需要多少数据?
它需要成对的源-目标示例——理想情况下至少约 500 个。如果低于大约 200 对,模型会过拟合,无法学习序列转换;在数据量非常少的情况下,使用随机森林或 XGBoost 等更简单的模型会更安全。
我需要 GPU 吗?
建议使用 GPU。在许多序列对上训练编码器-解码器计算量很大,仅使用 CPU 进行训练通常慢得不切实际。
添加注意力有什么作用?
注意力机制允许解码器在每个步骤查看所有编码器状态,而不是依赖一个固定的上下文向量。这消除了长序列的信息瓶颈,并显著提高了输出质量。
Seq2Seq 与分类器有何不同?
分类器产生一个固定的输出,例如单个标签。Seq2Seq 产生一个可变长度的输出序列,其长度在生成过程中确定,这使其适用于翻译、摘要和类似任务。
相关方法
参考文献
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
打开出版物文献已复制。Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
打开 DOI 文献已复制。