Skip to content
返回搜索结果

微调Transformer

提出者
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
年份
2017–2019
类型
Transfer learning / supervised fine-tuning
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

微调Transformer是指通过在标记的目标数据集上继续进行基于梯度的训练,将大型预训练模型(如BERT、GPT或ViT)适配到特定的下游任务。这种两阶段范式(预训练后微调)在NLP和计算机视觉任务中始终能取得最先进的结果,且所需的特定任务数据远少于从头训练。

方法背后的直觉

预训练的Transformer已经从海量语料库中学习到了丰富的语言或图像表示。微调就像是雇佣一位已经深入了解该领域知识的专家,并教他们你的具体工作。与其从头重写他们所有的知识,不如为你的任务添加一个小的输出头,并在你的标记示例上以较低的学习率更新整个网络。预训练的权重提供了一个温暖而强大的起点,因此即使只有几百个标记示例也能产生强大的性能——这在从头开始训练时是不可能的。

历史学

Transformer架构由Vaswani等人于2017年提出,用自注意力机制取代了循环网络。Howard和Ruder(2018)通过ULMFiT形式化了语言模型微调,Devlin等人(2019)将其扩展到BERT,证明了微调单个预训练模型在十一个NLP基准测试中取得了最佳结果。这种预训练-微调范式迅速成为NLP中的主导方法,然后通过Vision Transformers传播到计算机视觉领域。

何时使用

当您有一个标记的文本、图像或多模态任务,并且希望获得最先进的准确性而无需从头开始训练大型模型时,请使用微调的Transformer。当标记数据有限(几十到几千个示例)时,它表现出色,因为预训练的表示包含了大部分所需知识。特别适用于NLP任务,如分类、NER和问答,以及通过ViT日益增长的视觉任务。当部署环境无法支持大型模型推理(例如,具有严格延迟/内存限制且未经量化的边缘设备)时,当预训练领域与目标领域截然不同且不存在领域特定检查点时,或者当评论者或监管机构要求完全的模型透明度和系数可解释性时,请勿使用。

局限与注意事项

  • 预训练的Transformer模型很大(1.1亿至数十亿参数),需要大量的GPU内存和计算资源进行微调。
  • 本质上是黑箱;标准的微调不产生可解释的系数,这可能与学术报告规范相冲突。
  • 在随机种子之间的性能可能不稳定,尤其是在小型目标数据集上,需要多次运行才能获得可靠的估计。
  • 如果学习率或训练周期过高,存在灾难性遗忘的风险。
  • 需要预训练领域和目标领域之间的对齐;不匹配会显著降低性能。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在各种任务上以相对较少的标记示例实现最先进的性能。
  • 利用数十亿参数的预学习表示,大大减少了所需的训练数据。
  • 灵活的架构支持在统一框架内的分类、回归、生成、结构化预测和视觉任务。
  • 社区维护的模型中心(Hugging Face Hub)提供数千个可供微调的领域特定检查点。
  • 上下文表示捕获了词袋模型和基于RNN的模型所遗漏的长距离依赖关系。
  • 标准化的微调配方和库(Transformers、PyTorch Lightning)降低了可复现实现的门槛。

应用

  • 文本分类(情感分析、主题分类、仇恨言论检测)。
  • 命名实体识别、词性标注和其他序列标注任务。
  • 特定领域语料库上的问答和阅读理解。
  • 通过微调的Vision Transformer进行图像分类和物体识别。
  • 使用领域特定的预训练检查点进行生物医学和法律文档分析。
  • 低资源语言任务,其中标记数据稀缺但存在多语言检查点(mBERT、XLM-R)。

使用方式

使用方式

1

选择一个预训练领域与目标任务匹配的Transformer检查点。对于文本任务,在大型语料库上预训练的模型(如BERT、RoBERTa或GPT-2)是标准的。对于图像任务,在ImageNet或CLIP上预训练的Vision Transformer(ViT)变体是常见的。当目标领域词汇与通用语料库不同时,优先选择领域特定的预训练模型(例如,BioBERT、LegalBERT)。

2

在最后一个Transformer层之上附加一个轻量级的特定任务头:用于序列分类的线性分类层,用于序列标注(NER、POS)的令牌级线性层,或用于问答的跨度提取头。只有这个头是随机初始化的;Transformer主体保留预训练权重。

3

使用模型原始的分词器对标记的目标数据集进行分词,以保持词汇对齐。应用截断和填充以适应模型的最大序列长度。按类别分层拆分为训练集和验证集(如果分类标签不平衡)。如果存在严重不平衡,计算类别权重或应用过采样。

4

使用较小的学习率(对于BERT系列模型通常为1e-5至5e-5)和较短的训练周期(对于大多数NLP任务为2-5个epoch)在目标数据上对整个模型进行端到端训练。在总步数的10%左右进行线性预热,然后进行线性衰减是标准做法。在每个epoch监控验证损失,并应用早停以防止灾难性遗忘预训练知识。

公式
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

在保持不变的测试集上使用任务适当的指标进行评估:分类任务的准确率和宏F1,NER和QA的跨度级F1,摘要任务的ROUGE或BERTScore。由于微调结果可能对初始化敏感(尤其是在小数据集上),因此需要报告多个随机种子的性能。

常见陷阱

  • 使用过高的学习率(高于1e-4)导致预训练权重的灾难性遗忘。
  • 在没有早停的情况下进行过多轮次的微调,导致在小型目标数据集上过拟合。
  • 报告来自单次微调运行的结果,而不平均多次种子运行,掩盖了高方差。
  • 忽略分词对齐,使用了与预训练期间不同的分词器。
  • 在有可用的领域特定模型(例如BioBERT、SciBERT)且明显更合适的情况下,选择了一个通用模型检查点。

常见问题

我需要多少标记示例来微调Transformer?

这取决于任务的复杂性,但Transformer特别数据高效。分类任务通常使用几百到几千个标记示例就能很好地工作。对于非常小的数据集(低于约200个示例),少样本或参数高效的方法(如LoRA或提示调优)可能更稳定。

我应该冻结Transformer主体只训练头部吗?

在大多数情况下,完整的端到端微调始终优于仅训练头部。冻结主体主要在示例非常少或计算资源非常有限时有用,但它会牺牲表示的特定任务适应性。

我应该使用什么学习率?

BERT系列模型对学习率很敏感。1e-5到5e-5之间的值,并在总步数的6-10%上进行线性预热,是标准的起点。高于1e-4的学习率通常会导致灾难性遗忘。

我该如何选择不同的预训练检查点?

如果可用,优先选择领域匹配的检查点(生物医学用BioBERT,法律文本用LegalBERT,科学文本用SciBERT)。对于通用任务,RoBERTa或DeBERTa通常优于Vanilla BERT。查看Hugging Face模型排行榜以获取特定任务的基准测试。

微调的Transformer是否足够可解释以用于学术报告?

不是传统意义上的系数报告。然而,注意力可视化、集成梯度和基于SHAP的解释可以揭示哪些令牌驱动了预测。这些技术在应用NLP研究中越来越被接受,但在严格的确认性社会科学环境中可能无法满足审稿人的要求。

相关方法

参考文献

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    打开出版物文献
    已复制。
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    打开出版物文献
    已复制。