注意力机制
- 提出者
- Bahdanau, D.; Luong, M.T.
- 年份
- 2015
- 类型
- Neural attention layer (encoder-decoder)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
注意力机制由Bahdanau、Cho和Bengio于2015年提出,同年由Luong、Pham和Manning改进,它允许序列解码器动态学习在每个步骤中应该关注编码器的哪些输出。在Transformer之前,它通过将模型从将整个输入压缩成一个固定向量中解放出来,显著提高了机器翻译的质量。
方法背后的直觉
普通的编码器-解码器会将整个输入序列压缩成一个固定的上下文向量,这对于长序列来说会成为瓶颈。注意力机制消除了这个瓶颈:在每个输出步骤,解码器会回顾所有的编码器状态,并计算一个加权组合,重点关注对于它即将生成的词语而言最重要的几个位置。这就像翻译者回顾最相关的源词,而不是试图一次性记住整个句子。
历史学
注意力机制由Bahdanau、Cho和Bengio于2015年为神经机器翻译引入,联合学习对齐和翻译,因此模型不再需要将整个源句子压缩成一个向量。同年,Luong、Pham和Manning提出了有效的点积(乘性)变体。注意力机制显著提高了翻译质量,并成为后续Transformer架构的概念种子。
何时使用
当您处理序列到序列问题时——例如机器翻译或其他文本和连续序列任务——其中预测或可解释的对齐很重要,并且已经存在序列到序列的骨干结构,这时就可以使用注意力机制。它假定存在一个工作的seq2seq架构,并且可以计算上下文向量。至少需要几百个样本;大约500个或更少时,该机制难以学习有意义的权重,而低于约100个样本时,基于注意力的训练就不值得了——像Random Forest或XGBoost这样的简单模型更可靠。
局限与注意事项
- 需要现有的seq2seq骨干结构和计算上下文向量的能力。
- 在小型数据集(约500个样本或更少)上,它无法学习有意义的权重并倾向于过拟合。
- 大约100个观测值以下,基于注意力的训练基本上没有意义。
- 在底层编码器-解码器模型之上增加了计算成本。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 消除了固定向量的瓶颈,大大改善了对长序列的处理能力。
- 注意力权重提供了输入和输出之间可解释的对齐。
- 在每个解码步骤动态地关注最相关的编码器位置。
- 显著提高了机器翻译质量,并为Transformer铺平了道路。
应用
- 语言对之间的神经机器翻译。
- 序列到序列的文本生成和摘要。
- 对连续序列和时间序列式输入的预测。
- 生成可解释的输入-输出对齐以供分析。
使用方式
使用方式
在每个解码步骤,当前解码器状态与每个编码器输出进行比较,以产生相关性得分。Bahdanau风格(加性)的注意力通过一个小型前馈网络学习这个得分,而Luong风格(乘性)的注意力则使用查询和键之间的点积,计算成本更低。
公式
e_{ij} = \text{score}(s_{i}, h_{j})原始得分通过softmax函数处理,使其成为一组注意力权重,这些权重是正数且在所有输入位置上加起来等于一。这些权重表达了每个编码器输出在当前步骤应获得多少关注度,并且可以作为输入和输出之间可解释的对齐方式进行检查。
公式
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}编码器输出通过注意力权重进行加权求和,组合成一个单一的上下文向量。这个动态上下文——在每一步都不同——被馈送给解码器,以便它在关注输入中最相关部分的同时生成下一个元素。
公式
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}常见陷阱
- 将注意力应用于数据量太小而无法学习稳定权重的数据集,容易导致过拟合。
- 将注意力权重视为最终解释,而不是有用但部分对齐的线索。
- 跳过seq2seq基础,期望注意力独立工作。
- 忽略了非常短的输入从注意力机制中获得的收益远不如普通的编码器-解码器模型。
常见问题
注意力机制解决了什么问题?
它消除了普通编码器-解码器模型的固定向量瓶颈。与其将整个输入压缩成一个上下文向量,不如解码器在每一步构建一个由所有编码器状态组成的新加权组合,专注于最重要的位置。
Bahdanau和Luong注意力之间有什么区别?
Bahdanau(加性)注意力通过一个小型前馈网络学习相关性得分,而Luong(乘性)注意力使用查询和键之间的点积,计算成本较低。
需要多少数据?
至少需要几百个样本。大约500个或更少时,该机制难以学习有意义的权重并导致过拟合,而大约100个样本以下时,基于注意力的训练就不值得了——像Random Forest或XGBoost这样的简单模型更好。
我可以将注意力权重作为解释吗?
权重形成了一个可解释的对齐,显示了模型关注的焦点,这非常有用。将其视为一个有用的线索,而不是对模型推理的完整或最终解释。