Skip to content
返回搜索结果

Transformer (NLP)

提出者
Vaswani, A. et al.
年份
2017
类型
Attention-based deep neural network

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Transformer是一种基于注意力机制的深度学习模型,由Vaswani及其同事于2017年提出,通过让序列中的每个词元(token)直接关注序列中的其他所有词元,执行文本分类、命名实体识别和语言建模任务。它用自注意力机制取代了早期的循环设计,能够并行处理整个序列。

方法背后的直觉

早期的序列模型逐字读取文本,难以连接句子中相距较远的词语。Transformer模型则允许每个词语同时查看所有其他词语,并决定哪些词语对其含义更重要。这种注意力机制使模型能够捕捉语言中的长距离上下文,并学习到丰富、可复用的文本表示。

历史学

Transformer由Vaswani及其同事在2017年的论文《Attention Is All You Need》中提出,该论文表明,一个完全基于注意力机制——无需循环——的架构可以媲美甚至超越之前的序列模型。它成为了BERT和GPT等预训练语言模型的基础,这些模型现在已成为大多数自然语言处理任务的标准起点。

何时使用

适用于大型文本数据集(至少约500篇文档)上的文本分类、命名实体识别和语言建模任务,其中语言的深度上下文理解至关重要。它不要求数据服从正态分布,但确实需要大型文本语料库,并且推荐使用预训练模型(如BERT或GPT)。在低于约500个样本时,注意力机制无法学习到可靠的模式;在低于约100个样本时,深度模型毫无意义;此时,像随机森林或XGBoost这样的经典机器学习方法是更稳妥的选择。

局限与注意事项

  • 需要大型文本数据集(约500个样本或更多)来学习可靠的模式。
  • 在低于约100个样本时,深度模型训练无意义,经典机器学习方法即可。
  • 训练计算成本高昂,通常依赖于预训练模型。
  • 与显式系数模型相比,其内部表示难以解释。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 自注意力机制能够捕捉整个序列中的长距离依赖关系,而不同于逐字处理的循环模型。
  • 能够并行处理序列,使得在大型文本语料库上的训练更具可扩展性。
  • 预训练模型(BERT、GPT)可以进行微调,将知识迁移到标记数据有限的任务上。
  • 在单一架构中处理多种多样的语言任务——分类、命名实体识别和语言建模。
  • 无分布假设:不要求数据服从正态分布。

应用

  • 文本分类,例如情感或主题标记。
  • 文档上的命名实体识别(NER)。
  • 语言建模和下一个词元预测。
  • 对预训练语言模型进行微调,以适应领域特定的文本任务。

使用方式

使用方式

1

原始文本被分割成词元,每个词元被转换为数值向量(嵌入)。由于注意力机制本身没有内置的顺序概念,因此需要向这些向量中添加位置信息,以便模型知道每个词元在序列中的位置。

2

自注意力机制将每个词元与所有其他词元进行比较:查询(queries)与键(keys)匹配以产生注意力权重,然后用这些权重组合值(values)向量。堆叠多个这样的注意力层可以让模型构建出一种上下文表示,其中每个词元都受到整个序列的启发。

公式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

上下文表示会馈送到特定任务的头部——文本分类的标签、命名实体识别的每个词元标签,或语言建模的下一个词元概率。实践中,通常会在大型文本语料库(如BERT或GPT)上预训练模型,然后在目标任务上进行微调。

常见陷阱

  • 将Transformer应用于小型文本数据集,其中注意力机制无法学习到稳定的模式。
  • 从头开始训练,而不是微调预训练模型(如BERT或GPT)。
  • 忽略样本量下限,过度信任深度模型,而经典机器学习方法本可做得更好。
  • 将注意力权重视为模型推理过程的最终解释。

常见问题

我需要多少文本数据?

至少约500个样本,以便注意力机制学习到可靠的模式。在低于约100个样本时,训练深度模型不值得,像随机森林或XGBoost这样的经典机器学习方法是更好的选择。

我应该从头开始训练Transformer吗?

通常不建议。建议使用预训练模型(如BERT或GPT)并在您的任务上进行微调,因为它迁移了从大型语料库中学到的知识,并且需要少得多的标记数据。

它处理哪些任务?

文本分类、命名实体识别和语言建模,所有这些都建立在相同的自注意力架构之上。

为什么注意力机制很重要?

它允许序列中的每个词元直接关注其他所有词元,捕捉了早期逐字循环模型难以处理的长距离上下文。

相关方法

参考文献

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    打开出版物文献
    已复制。