Skip to content
返回搜索结果

长格式Transformer / BigBird

提出者
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
年份
2020
类型
Sparse-attention Transformer for long sequences

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

长序列Transformer,如Longformer(Beltagy, Peters & Cohan, 2020)和BigBird(Zaheer et al., 2020),用稀疏注意力模式取代了标准Transformer的O(n²)注意力,使其能以O(n)的线性复杂度随序列长度扩展。这使得单个模型能够处理数千个token——完整的文档、法律文本或基因序列——而这些内容是传统Transformer无法容纳的。

方法背后的直觉

标准Transformer会比较每个token与所有其他token,因此文本长度加倍大约会使计算量增加四倍——这就是为什么大多数模型将输入长度限制在512个token左右。长序列Transformer注意到大多数有用的关系是局部的,因此每个token主要通过滑动窗口关注其近邻,而少数指定的token则可以关注所有token。这使得计算成本与文本长度成比例增长,而不是呈指数级增长,从而可以处理非常长的文档。

历史学

这两种方法都出现在2020年,旨在解决限制Transformer输入长度的二次方注意力瓶颈。Longformer(Beltagy, Peters & Cohan)引入了用于长文档的滑动窗口加全局注意力,而BigBird(Zaheer et al., NeurIPS)在其稀疏模式中增加了随机注意力,并提供了关于其表达能力的理论结果。它们共同确立了稀疏注意力作为处理长序列的标准途径。

何时使用

当您处理长文档文本(通常超过512个token)并需要对整个文档进行分类或解释时,可以使用长序列Transformer——例如长报告、法律文本或基因序列。它们假设有真正长的输入可用,强烈推荐使用GPU,并且必须合理选择全局token的位置。它们需要相当数量的数据:低于约500篇文档时,模型容易过拟合;低于约100篇文档时,训练没有意义,此时更适合随机森林或XGBoost等经典机器学习方法。

局限与注意事项

  • 实际上需要GPU;训练和推理在计算上非常耗时。
  • 在小文档集上容易过拟合——低于约500篇文档时结果不可靠。
  • 低于约100篇文档时训练没有意义,应改用经典机器学习。
  • 必须正确选择全局token的位置,否则长距离信息流动会受损。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 处理数千个token——整个文档——超出标准Transformer的窗口限制。
  • 注意力复杂度从二次方O(n²)的密集注意力转变为线性O(n)的注意力。
  • 结合了局部滑动窗口上下文和全局token,实现长距离信息流动。
  • 非常适合法律、基因组学和长篇文本的文档分类。

应用

  • 对长文档(如报告和文章)进行分类。
  • 分析超出标准Transformer窗口的法律文本。
  • 对长基因序列进行建模。
  • 对完整文本而非截断的片段进行解释和分类任务。

使用方式

使用方式

1

核心的改进是放弃了标准Transformer的密集、全对所有token的注意力——其复杂度为序列长度n的O(n²)——并用复杂度仅为O(n)的稀疏模式来近似。由于注意力是瓶颈,这一单一的改变使得处理数千个token的输入成为可能。

公式
O(n^2) \;\rightarrow\; O(n)
2

大部分注意力被限制在每个token周围的滑动窗口内,因此一个token只关注附近固定范围内的token,而不是整个序列。局部上下文——即左右两侧的词语——携带了大部分信号,而仅计算这个窗口的开销会随着长度线性增长。

3

一小组指定的全局token可以关注整个序列,并被整个序列关注,这为模型提供了跨文档的长距离信息流动的路径。正确选择这些全局token的位置(例如分类token或查询token)很重要,因为它们是文本中遥远部分之间的桥梁。

4

在稀疏注意力编码器的基础上,一个任务头会产生最终结果——例如,对长输入进行文档级分类或解释性预测。其结果是一个能够处理标准512-token Transformer不得不截断的完整文档的模型。

常见陷阱

  • 将它应用于适合标准512-token Transformer的短文本,却要承担不必要的复杂性。
  • 随意选择全局token的位置,破坏了模型长距离信息通路。
  • 在小文档集(n低于几百篇)上进行训练并信任过拟合的结果。
  • 尝试在没有GPU的情况下进行训练并放弃可行的模型。

常见问题

这与BERT等标准Transformer有何不同?

标准Transformer使用密集注意力,比较每个token与所有其他token,复杂度为O(n²),实际上将输入限制在约512个token。Longformer和BigBird使用稀疏注意力——主要是局部的滑动窗口加上少数全局token——因此复杂度随长度线性增长,使得数千个token的输入成为可能。

何时应优先选择Longformer或BigBird而非经典机器学习?

当您的文本确实很长(超过512个token)且您拥有足够多的文档时使用。文档数量少于约500篇时,模型容易过拟合;文档数量少于约100篇时,训练没有意义——此时随机森林或XGBoost等经典方法是更安全的选择。

什么是全局token,它们为何重要?

全局token是允许关注整个序列并被整个序列关注的一小组位置。它们是长距离信息在文档中传输的通道,因此正确选择它们的位置对性能很重要。

我需要特殊硬件吗?

强烈推荐使用GPU。这些模型仍然使用相当大的网络来处理长序列,因此即使具有线性缩放的注意力,训练和推理在计算上仍然是要求很高的。

相关方法

参考文献

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    打开出版物文献
    已复制。
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    打开出版物文献
    已复制。