长格式Transformer / BigBird
- 提出者
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- 年份
- 2020
- 类型
- Sparse-attention Transformer for long sequences
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
长序列Transformer,如Longformer(Beltagy, Peters & Cohan, 2020)和BigBird(Zaheer et al., 2020),用稀疏注意力模式取代了标准Transformer的O(n²)注意力,使其能以O(n)的线性复杂度随序列长度扩展。这使得单个模型能够处理数千个token——完整的文档、法律文本或基因序列——而这些内容是传统Transformer无法容纳的。
方法背后的直觉
标准Transformer会比较每个token与所有其他token,因此文本长度加倍大约会使计算量增加四倍——这就是为什么大多数模型将输入长度限制在512个token左右。长序列Transformer注意到大多数有用的关系是局部的,因此每个token主要通过滑动窗口关注其近邻,而少数指定的token则可以关注所有token。这使得计算成本与文本长度成比例增长,而不是呈指数级增长,从而可以处理非常长的文档。
历史学
这两种方法都出现在2020年,旨在解决限制Transformer输入长度的二次方注意力瓶颈。Longformer(Beltagy, Peters & Cohan)引入了用于长文档的滑动窗口加全局注意力,而BigBird(Zaheer et al., NeurIPS)在其稀疏模式中增加了随机注意力,并提供了关于其表达能力的理论结果。它们共同确立了稀疏注意力作为处理长序列的标准途径。
何时使用
当您处理长文档文本(通常超过512个token)并需要对整个文档进行分类或解释时,可以使用长序列Transformer——例如长报告、法律文本或基因序列。它们假设有真正长的输入可用,强烈推荐使用GPU,并且必须合理选择全局token的位置。它们需要相当数量的数据:低于约500篇文档时,模型容易过拟合;低于约100篇文档时,训练没有意义,此时更适合随机森林或XGBoost等经典机器学习方法。
局限与注意事项
- 实际上需要GPU;训练和推理在计算上非常耗时。
- 在小文档集上容易过拟合——低于约500篇文档时结果不可靠。
- 低于约100篇文档时训练没有意义,应改用经典机器学习。
- 必须正确选择全局token的位置,否则长距离信息流动会受损。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 处理数千个token——整个文档——超出标准Transformer的窗口限制。
- 注意力复杂度从二次方O(n²)的密集注意力转变为线性O(n)的注意力。
- 结合了局部滑动窗口上下文和全局token,实现长距离信息流动。
- 非常适合法律、基因组学和长篇文本的文档分类。
应用
- 对长文档(如报告和文章)进行分类。
- 分析超出标准Transformer窗口的法律文本。
- 对长基因序列进行建模。
- 对完整文本而非截断的片段进行解释和分类任务。
使用方式
使用方式
核心的改进是放弃了标准Transformer的密集、全对所有token的注意力——其复杂度为序列长度n的O(n²)——并用复杂度仅为O(n)的稀疏模式来近似。由于注意力是瓶颈,这一单一的改变使得处理数千个token的输入成为可能。
公式
O(n^2) \;\rightarrow\; O(n)
大部分注意力被限制在每个token周围的滑动窗口内,因此一个token只关注附近固定范围内的token,而不是整个序列。局部上下文——即左右两侧的词语——携带了大部分信号,而仅计算这个窗口的开销会随着长度线性增长。
一小组指定的全局token可以关注整个序列,并被整个序列关注,这为模型提供了跨文档的长距离信息流动的路径。正确选择这些全局token的位置(例如分类token或查询token)很重要,因为它们是文本中遥远部分之间的桥梁。
在稀疏注意力编码器的基础上,一个任务头会产生最终结果——例如,对长输入进行文档级分类或解释性预测。其结果是一个能够处理标准512-token Transformer不得不截断的完整文档的模型。
常见陷阱
- 将它应用于适合标准512-token Transformer的短文本,却要承担不必要的复杂性。
- 随意选择全局token的位置,破坏了模型长距离信息通路。
- 在小文档集(n低于几百篇)上进行训练并信任过拟合的结果。
- 尝试在没有GPU的情况下进行训练并放弃可行的模型。
常见问题
这与BERT等标准Transformer有何不同?
标准Transformer使用密集注意力,比较每个token与所有其他token,复杂度为O(n²),实际上将输入限制在约512个token。Longformer和BigBird使用稀疏注意力——主要是局部的滑动窗口加上少数全局token——因此复杂度随长度线性增长,使得数千个token的输入成为可能。
何时应优先选择Longformer或BigBird而非经典机器学习?
当您的文本确实很长(超过512个token)且您拥有足够多的文档时使用。文档数量少于约500篇时,模型容易过拟合;文档数量少于约100篇时,训练没有意义——此时随机森林或XGBoost等经典方法是更安全的选择。
什么是全局token,它们为何重要?
全局token是允许关注整个序列并被整个序列关注的一小组位置。它们是长距离信息在文档中传输的通道,因此正确选择它们的位置对性能很重要。
我需要特殊硬件吗?
强烈推荐使用GPU。这些模型仍然使用相当大的网络来处理长序列,因此即使具有线性缩放的注意力,训练和推理在计算上仍然是要求很高的。