微调 BERT 分类
- 提出者
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- 年份
- 2019
- 类型
- Pre-trained transformer fine-tuned for classification
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
微调 BERT 分类通过添加一个轻量级输出层并基于标注样本继续进行梯度下降训练,来将预训练的 BERT Transformer 模型适配到特定的文本分类任务。在情感分析、主题分类、意图识别和其他自然语言处理分类任务中,该方法在标注数据集相对较小的情况下,始终能达到接近最先进水平的准确率。
方法背后的直觉
BERT 在海量未标注文本上进行了预训练,学习了丰富的语言上下文表示。微调通过在顶部附加一个简单的分类头,并在你的标注样本上训练整个模型(或仅训练分类头),来重新利用这些通用知识。由于 BERT 已经理解了语法、语义和世界知识,因此模型所需的标注样本比从头开始训练神经网络分类器要少得多,并且能更快地收敛到更高的准确率。[CLS] 标记的表示提炼了句子级别的摘要,供分类器读取。
历史学
BERT(Bidirectional Encoder Representations from Transformers)由 Google AI 于 2019 年由 Devlin 等人提出,它构建在 Vaswani 等人(2017)的 Transformer 架构之上。其掩码语言模型和下一句预测的预训练任务产生了深度上下文表示,同时在十一个 NLP 基准上超越了此前的最先进水平。将 BERT 微调用于分类很快成为应用 NLP 研究中的主导范式,催生了 RoBERTa、DistilBERT 和 ALBERT 等后续模型。
何时使用
当你拥有带有标注类别的文本数据,并且需要在情感分析、意图识别、主题标记或文档分类等任务上获得高准确率时,请使用微调 BERT 分类。由于预训练提供了丰富的先验知识,即使只有几百到几千个标注样本,它也能表现出色。当上下文含义很重要时,优先选择它而不是传统的词袋模型。当计算资源严重受限(CPU 推理速度慢)、文本领域与标准网络文本截然不同且不存在特定领域检查点,或者需要评论者或监管机构完全解释单个特征权重时,请勿使用它。
局限与注意事项
- 在微调和推理时都有很高的内存和计算占用;实际吞吐量基本上需要 GPU。
- 有限的上下文窗口(基础 BERT 为 512 个标记);超过此长度的文档必须被截断或分割。
- 模型内部在很大程度上仍然不透明,这可能与监管或同行评审对可解释性的要求相冲突。
- 如果学习率过高或训练时间过长,存在灾难性遗忘的风险。
- 在高度专业化的领域(临床笔记、法律合同)上性能下降,除非使用与领域匹配的检查点。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在有限的标注数据下,在大多数文本分类基准上达到接近最先进的准确率。
- 捕获词袋模型和 TF-IDF 模型所遗漏的长距离上下文含义。
- 与从头开始训练相比,迁移学习大大减少了所需的标注数据和训练时间。
- 通过 HuggingFace 提供广泛的特定领域预训练检查点(生物医学、法律、金融、多语言)生态系统。
- 跨任务的统一 API — 二元、多类和多标签设置都适用相同的微调方法。
- 内置的子词分词能够优雅地处理形态丰富的语言、罕见词和拼写错误。
应用
- 产品评论、社交媒体帖子和调查反馈的情感分析。
- 对话系统和虚拟助手中的意图识别和槽填充。
- 新闻文章、摘要或支持工单的主题和类别标记。
- 使用特定领域的 BioBERT 进行临床文本分类,如分诊严重程度或 ICD 代码分配。
- 内容审核管道中的仇恨言论和毒性检测。
- 使用法律 BERT 变体进行法律文件分类和条款类型识别。
使用方式
使用方式
加载一个预训练的 BERT 检查点(例如,bert-base-uncased 或特定领域的变体),并冻结或解冻所有 Transformer 层。分词器将原始文本转换为 WordPiece 子词标记,在前面加上用于序列表示的特殊 [CLS] 标记,并添加 [SEP] 分隔符。
一个线性分类头将 [CLS] 标记的最终隐藏状态映射到目标类别集合上的对数几率分数。计算预测分布与真实标签之间的交叉熵损失。这是唯一新初始化的权重块;所有其他权重均继承自预训练。
公式
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})通过反向传播,使用较小的学习率(通常为 2e-5 至 5e-5)联合更新所有模型参数,或选定的子集(如顶部的 N 个 Transformer 层)。训练运行两到四个 epoch;更多的 epoch 会有灾难性遗忘预训练表示的风险。
在分类头之前应用的 Dropout(通常为 0.1),结合提前停止或带衰减的线性学习率预热,可以防止过拟合。类别不平衡的数据集可以通过加权损失或在微调前对少数类进行过采样来受益。
在推理时,将分词后的输入通过微调后的模型进行前向传播,并通过 softmax 输出的 argmax 选择预测的类别。如果下游决策依赖于概率阈值,则建议校准置信度分数。
公式
\hat{y} = \arg\max_k\, p(y=k|x)常见陷阱
- 使用过高的学习率(高于 5e-5),这会破坏预训练权重的稳定性并导致性能崩溃。
- 在没有提前停止的情况下进行过多 epoch 的微调,导致预训练语言知识的灾难性遗忘。
- 在微调损失中忽略类别不平衡,导致模型几乎只预测多数类。
- 将长文档截断为 512 个标记,而不考虑文本的哪个部分承载了最重要的信息。
- 仅在训练分布上进行评估,而不在保留的或域外数据集上测试泛化能力。
常见问题
我需要多少标注样本才能有效地微调 BERT?
对于简单的二元任务,BERT 微调可以使用每个类别仅几百个样本就能取得良好效果,通常使用 1,000–10,000 个标注实例即可达到强劲性能。对于资源极度匮乏的情况,少样本或提示式方法可能优于标准微调。
我应该微调所有层还是只微调分类头?
联合微调所有层通常能产生最佳准确率,前提是使用较小的学习率(2e-5 至 5e-5)。当标注数据非常稀缺时,冻结大部分层只训练分类头速度更快且更安全,但通常会牺牲几个准确率点。
如何处理长度超过 512 个标记的文档?
常用策略包括截断为前 512 个标记(通常足以在开头提供分类线索)、使用重叠块的滑动窗口池化,或聚合块级别表示的分层编码器。最佳选择取决于区分类别的内容出现在文档的哪个位置。
我应该选择哪个 BERT 变体?
对于英语通用领域文本,从 bert-base-uncased 开始。当你的文本与维基百科和 BookCorpus 有显著差异时,请使用特定领域的检查点(例如,生物医学使用 BioBERT,法律使用 LegalBERT)。RoBERTa-base 通常在分类基准上优于 BERT,是一个不错的替代选择。
如何报告出版物结果?
除了准确率之外,还要报告精确率、召回率和宏 F1 分数,尤其是在类别不平衡的数据集上。使用多个随机种子(至少三个)运行微调,并报告平均值和标准差以显示结果稳定性。包含在从未用于超参数选择的保留测试集上的评估。
相关方法
参考文献
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
打开 DOI 文献已复制。Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
打开 DOI 文献已复制。