Skip to content
返回搜索结果

多头自注意力机制

提出者
Vaswani, A. et al.
年份
2017
类型
Attention mechanism (Transformer core)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

多头自注意力机制由 Vaswani 及其同事于 2017 年提出,它使序列中的每个位置能够并行计算与其他所有位置的关系。它是 Transformer 架构的核心,也是 BERT、GPT 和 T5 的基础。

方法背后的直觉

早期的序列模型一次只处理一个文本步骤,这使得捕捉长距离关系变得困难且计算缓慢。自注意力机制则允许每个 token 同时直接查看所有其他 token,并决定赋予每个 token 多少权重,从而在一次并行传递中捕获依赖于远程上下文的含义。

历史学

自注意力机制由 Vaswani 及其同事在 2017 年的论文《Attention Is All You Need》中提出,该论文提出了 Transformer 架构并完全摒弃了递归。它迅速成为大型预训练语言模型的基础:Devlin 及其同事于 2019 年在双向 Transformer 的基础上构建了 BERT,而 GPT 和 T5 也基于相同的机制。

何时使用

当对文本或其他序列数据进行建模,且长距离元素之间的关系很重要,并且您拥有足够的数据来训练大型模型时(至少约 100 个观测值,最好是 500 个或更多),请使用自注意力机制。建议使用 GPU,必须使用位置编码,并注意计算成本随序列长度的增加而二次方增长。在非常小的样本上,它无法学习到可靠的表示;在那里,更简单的机器学习模型更安全。

局限与注意事项

  • 计算和内存成本随序列长度的增加而二次方增长,导致非常长的序列成本高昂。
  • 实际上需要 GPU 才能进行实际训练。
  • 需要位置编码,因为注意力本身是顺序无关的。
  • 在小型数据集(n 低于约 500 个)上,它会出现过拟合且无法学习到可靠的表示。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接捕获长距离依赖关系,无需逐步递归的瓶颈。
  • 跨位置完全并行计算,在现代硬件上具有良好的可扩展性。
  • 多个头可以同时关注不同的关系模式。
  • 作为 BERT、GPT 和 T5 的共享骨干,具有广泛的迁移学习支持。

应用

  • 文本分类和其他监督式自然语言任务。
  • 序列数据上的预测和表示学习。
  • 大型语言模型(如 BERT 和 GPT)的预训练和微调。
  • 任何需要对序列元素之间的长距离关系进行建模的场景。

使用方式

使用方式

1

每个输入位置通过单独的权重矩阵映射到三个学习到的向量——查询(query)、键(key)和值(value)。查询代表 token 在寻找什么,键代表每个 token 提供什么,值代表传递的内容。

公式
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

通过缩放点积(scaled dot product)将每个查询与所有键进行比较,并通过键向量维度的平方根进行缩放以保持值稳定,然后通过 softmax 函数生成注意力权重。每个位置的输出是所有值向量的加权和,因此它一次性融合了整个序列的信息。

公式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

注意力机制并行运行多次,作为独立的头(heads),每个头都有自己的投影,因此不同的头可以关注不同类型的关系。它们的输出被连接(concatenated)并重新投影回一起,并且由于位置本身是可互换的,因此会添加位置编码(positional encoding)以保留顺序信息。

公式
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

常见陷阱

  • 在数据量不足的情况下进行训练——大约低于 500 个示例,该机制会过拟合而不是学习有用的表示。
  • 忘记位置编码,这使得模型对词序不敏感。
  • 低估长序列的二次方成本并耗尽内存。
  • 在样本量极小的情况下选择 Transformer,而像随机森林或 XGBoost 这样的简单模型会做得更好。

常见问题

为什么注意力分数要除以键维度的平方根进行缩放?

如果不进行缩放,点积会随着键维度的增加而变大,将 softmax 推入梯度消失的区域。除以键维度的平方根可以将分数保持在稳定范围内。

多个头增加了什么?

每个头学习自己的查询、键和值投影,因此不同的头可以同时关注不同类型的关系。它们的输出被连接并重新投影回一个表示。

为什么需要位置编码?

自注意力机制将位置视为可互换的,因此它本身没有顺序概念。位置编码注入了关于每个 token 位置的信息,以便模型可以使用词序。

它需要多少数据?

它非常耗数据:在约 500 个示例以下,它会过拟合且无法学习到可靠的表示,而在大约 100 个示例以下训练 Transformer 没有意义。对于小样本,更简单的模型(如随机森林或 XGBoost)是首选。

相关方法

参考文献

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    打开出版物文献
    已复制。
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    打开出版物文献
    已复制。