多头自注意力机制
- 提出者
- Vaswani, A. et al.
- 年份
- 2017
- 类型
- Attention mechanism (Transformer core)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
多头自注意力机制由 Vaswani 及其同事于 2017 年提出,它使序列中的每个位置能够并行计算与其他所有位置的关系。它是 Transformer 架构的核心,也是 BERT、GPT 和 T5 的基础。
方法背后的直觉
早期的序列模型一次只处理一个文本步骤,这使得捕捉长距离关系变得困难且计算缓慢。自注意力机制则允许每个 token 同时直接查看所有其他 token,并决定赋予每个 token 多少权重,从而在一次并行传递中捕获依赖于远程上下文的含义。
历史学
自注意力机制由 Vaswani 及其同事在 2017 年的论文《Attention Is All You Need》中提出,该论文提出了 Transformer 架构并完全摒弃了递归。它迅速成为大型预训练语言模型的基础:Devlin 及其同事于 2019 年在双向 Transformer 的基础上构建了 BERT,而 GPT 和 T5 也基于相同的机制。
何时使用
当对文本或其他序列数据进行建模,且长距离元素之间的关系很重要,并且您拥有足够的数据来训练大型模型时(至少约 100 个观测值,最好是 500 个或更多),请使用自注意力机制。建议使用 GPU,必须使用位置编码,并注意计算成本随序列长度的增加而二次方增长。在非常小的样本上,它无法学习到可靠的表示;在那里,更简单的机器学习模型更安全。
局限与注意事项
- 计算和内存成本随序列长度的增加而二次方增长,导致非常长的序列成本高昂。
- 实际上需要 GPU 才能进行实际训练。
- 需要位置编码,因为注意力本身是顺序无关的。
- 在小型数据集(n 低于约 500 个)上,它会出现过拟合且无法学习到可靠的表示。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接捕获长距离依赖关系,无需逐步递归的瓶颈。
- 跨位置完全并行计算,在现代硬件上具有良好的可扩展性。
- 多个头可以同时关注不同的关系模式。
- 作为 BERT、GPT 和 T5 的共享骨干,具有广泛的迁移学习支持。
应用
- 文本分类和其他监督式自然语言任务。
- 序列数据上的预测和表示学习。
- 大型语言模型(如 BERT 和 GPT)的预训练和微调。
- 任何需要对序列元素之间的长距离关系进行建模的场景。
使用方式
使用方式
每个输入位置通过单独的权重矩阵映射到三个学习到的向量——查询(query)、键(key)和值(value)。查询代表 token 在寻找什么,键代表每个 token 提供什么,值代表传递的内容。
公式
Q = XW_Q,\; K = XW_K,\; V = XW_V
通过缩放点积(scaled dot product)将每个查询与所有键进行比较,并通过键向量维度的平方根进行缩放以保持值稳定,然后通过 softmax 函数生成注意力权重。每个位置的输出是所有值向量的加权和,因此它一次性融合了整个序列的信息。
公式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V注意力机制并行运行多次,作为独立的头(heads),每个头都有自己的投影,因此不同的头可以关注不同类型的关系。它们的输出被连接(concatenated)并重新投影回一起,并且由于位置本身是可互换的,因此会添加位置编码(positional encoding)以保留顺序信息。
公式
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O常见陷阱
- 在数据量不足的情况下进行训练——大约低于 500 个示例,该机制会过拟合而不是学习有用的表示。
- 忘记位置编码,这使得模型对词序不敏感。
- 低估长序列的二次方成本并耗尽内存。
- 在样本量极小的情况下选择 Transformer,而像随机森林或 XGBoost 这样的简单模型会做得更好。
常见问题
为什么注意力分数要除以键维度的平方根进行缩放?
如果不进行缩放,点积会随着键维度的增加而变大,将 softmax 推入梯度消失的区域。除以键维度的平方根可以将分数保持在稳定范围内。
多个头增加了什么?
每个头学习自己的查询、键和值投影,因此不同的头可以同时关注不同类型的关系。它们的输出被连接并重新投影回一个表示。
为什么需要位置编码?
自注意力机制将位置视为可互换的,因此它本身没有顺序概念。位置编码注入了关于每个 token 位置的信息,以便模型可以使用词序。
它需要多少数据?
它非常耗数据:在约 500 个示例以下,它会过拟合且无法学习到可靠的表示,而在大约 100 个示例以下训练 Transformer 没有意义。对于小样本,更简单的模型(如随机森林或 XGBoost)是首选。