Skip to content
返回搜索结果

BERT微调

提出者
Devlin, J. et al.
年份
2019
类型
Transfer learning (fine-tuning a pre-trained transformer)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

BERT微调是基于Devlin及其同事于2019年推出的BERT模型,它在一个小型标注数据集上重新训练预训练的BERT模型,以完成分类、命名实体识别或问答等目标任务。通过迁移学习,即使只有相对较少的任务特定数据,它也能达到高性能。

方法背后的直觉

从头开始训练语言模型需要大量的文本和计算资源。BERT在预训练阶段已经学习了丰富、通用的语言表示,因此,您无需从头开始,而是可以直接使用该模型并对其进行微调以适应您的任务。只需少量标注数据,模型就能将其现有知识应用于您的问题,这就是为什么微调有效而从零开始训练模型会失败的原因。

历史学

BERT由Devlin及其同事于2019年推出,它证明了在大型语料库上预训练的深度双向Transformer可以通过微调在许多语言理解任务中达到最先进的结果。Sun及其同事2019年关于如何微调BERT进行文本分类的实用指导,帮助将微调确立为将大型预训练语言模型适应特定任务的标准方法。

何时使用

将BERT微调用于文本任务——分类、预测或关系抽取(如命名实体识别和问答)——在文本变量上,至少需要大约50个标注样本,理想情况下是数百个或更多。它假设存在一个预训练的BERT模型,并且您拥有标注的任务数据;建议使用GPU。当标注样本少于约500个时,模型容易过拟合;当少于约50个时,微调不可行——此时基于TF-IDF的经典机器学习是更安全的选择。

局限与注意事项

  • 在小型标注数据集(约500个样本以下)上,微调会过拟合,输出变得不可靠。
  • 在极少量标注数据(约50个样本以下)的情况下,微调根本不可行。
  • 建议使用GPU,因此计算要求高于经典文本模型。
  • 取决于是否有适用于特定语言和领域的预训练BERT模型。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 即使只有相对较少的标注数据,迁移学习也能提供高性能。
  • 捕捉双向上下文,处理依赖于周围文本的词义。
  • 一个预训练主干网络可服务于多种任务:分类、命名实体识别、问答。
  • 避免了从头训练语言模型所需的大量数据和计算成本。

应用

  • 文本分类,如情感分析和主题标注。
  • 文本上的命名实体识别(NER)。
  • 问答和跨度抽取。
  • 将通用的预训练语言模型适应于具有有限标注数据的特定领域。

使用方式

使用方式

1

您从一个预训练的BERT模型开始,该模型已经从大型文本语料库中学习了语言的双向表示。这个预训练模型携带着通用的语言知识,可以迁移到您的目标任务中,因此您无需从头学习语言结构。

2

为了您的目标任务,BERT之上会附加一个任务特定的输出层——例如,用于情感标注的分类头、用于命名实体识别的词元级头,或用于问答的跨度头。这个头将BERT的上下文表示转化为您任务的预测。

3

组合模型在您的小型标注任务数据集上进行重新训练,更新权重使其专门适应任务。通常模型会训练几个周期;由于底层网络庞大,建议使用GPU。结果是一个将文本输入映射到任务预测的模型。

公式
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

常见陷阱

  • 在过少的标注样本上进行微调并信任由此产生的指标。
  • 跳过留出评估集,导致小型数据集上的过拟合未被发现。
  • 在数据量极小的情况下,当基于TF-IDF的经典模型更可靠时,却选择BERT。
  • 在小型数据集上训练过多的周期,这会加剧过拟合。

常见问题

我需要多少标注数据?

微调大约从50个标注样本开始可行,但数百个或更多样本的性能更可靠。低于约500个样本时,模型容易过拟合;低于约50个样本时,微调不可行——此时基于TF-IDF的经典模型更安全。

我需要GPU吗?

建议使用GPU,因为BERT网络庞大,在CPU上训练速度慢。微调通常只运行几个周期,这使得在GPU上的计算量可控。

为什么要微调而不是从头开始训练?

BERT在预训练阶段已经学习了通用的双向语言表示。微调通过迁移学习重用这些知识,因此您可以用比从零开始训练模型少得多的标注数据和计算资源达到高性能。

BERT微调可以处理哪些任务?

通过附加任务特定的输出头,您可以将相同的预训练主干网络用于分类、命名实体识别和问答等文本任务。

相关方法

参考文献

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    打开 DOI 文献
    已复制。
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    打开 DOI 文献
    已复制。