Skip to content
返回搜索结果

[需翻译标题:BERT-based Classification...]

提出者
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
年份
2019
类型
Pre-trained language model with fine-tuning
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

BERT-based Classification 通过在标注文本数据集上对谷歌的 Bidirectional Encoder Representations from Transformers 模型进行微调,用特定任务的分类层替换通用的预训练头部。它利用了数亿预训练参数的深度双向上下文,在具有相对适量标注数据的短文本和中等长度文本分类任务上实现了最先进的准确率。

方法背后的直觉

BERT 在理解句子中的每个单词时,能够同时充分感知其前后所有单词的上下文——这与仅能从左到右或从右到左阅读的早期模型不同。在微调之前,BERT 已经从海量语料库中吸收了丰富的语言模式。为了对文本进行分类,在其顶部添加一个简单的分类层,然后对整个模型使用您的标注样本进行简短的重新训练。模型在保留其预训练的广泛语言知识的同时,会调整其内部表示以适应您的特定类别,从而在标注数据稀缺的情况下也能获得强大的性能。

历史学

BERT 由 Google AI Language 的 Devlin 等人在 2019 年发表,并立即在包括 GLUE 和 SQuAD 在内的 11 个 NLP 基准测试中创下了新的最先进结果。其关键创新是通过掩码语言模型和下一句预测进行双向预训练。自 2019 年以来,它催生了一系列衍生模型——RoBERTa、ALBERT、DistilBERT、特定领域变体——并成为现代应用 NLP 的基础,包括学术、工业和临床环境中的文本分类。

何时使用

当您拥有标注文本数据并希望在情感分析、主题分类、意图检测或临床文本分类等任务上获得最先进的准确率时,请使用 BERT-based Classification。它只需要每个类别几百个标注样本即可获得良好效果,因此在缺乏大规模标注语料库的情况下是一个不错的选择。当语言细微差别、长距离上下文或细微的语义区分对任务至关重要时,优先选择它而不是更简单的模型(TF-IDF + 逻辑回归、CNN、LSTM)。当序列长度超过 512 个标记且未进行特殊处理时,当 GPU 计算资源不可用或成本过高时,当需要低于几毫秒的实时推理延迟时,或者当领域高度专业化且领域内预训练数据非常少时,应避免使用它——在这种情况下,特定领域的模型(BioBERT、LegalBERT)可能更合适。

局限与注意事项

  • 硬性的序列长度限制为 512 个标记;更长的文档需要截断、分块或分层处理。
  • 与 DistilBERT 或逻辑回归等较轻量级模型相比,推理时计算和内存成本高。
  • 在非常小的数据集(每个类别少于约 100 个示例)上进行微调,存在灾难性遗忘或过拟合的风险。
  • 模型内部在很大程度上不透明;解释预测结果需要额外的工具,如注意力可视化或 SHAP。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 双向自注意力机制捕获了单向 RNN 模型无法表示的丰富上下文含义。
  • 在大规模语料库上进行预训练提供了强大的语言先验知识,使得在有限的标注数据下也能获得良好的性能。
  • 与从头开始训练大型模型相比,微调速度很快——通常只需要 3-5 个轮次。
  • 一个单一的架构可以处理许多 NLP 分类任务,而无需进行特定任务的特征工程。
  • 广泛可用的预训练检查点(BERT-base、BERT-large)以及适用于多种语言和领域的衍生模型。

应用

  • 对评论、社交媒体帖子和调查反馈进行情感分析。
  • 为客户支持、聊天机器人和内容审核进行主题和意图分类。
  • 临床文本分类:诊断编码、临床笔记分类和不良事件检测。
  • 科学摘要分类和系统评价中的引文筛选。
  • 社交平台上的仇恨言论和虚假信息检测。

使用方式

使用方式

1

输入文本被分割成 WordPiece 标记,并在前面添加一个特殊的 [CLS] 标记。一个 [SEP] 标记用于标记句子边界。每个标记被映射到一个数值 ID,并被填充或截断到固定的最大序列长度,通常是 128 或 512 个标记。

2

标记序列通过所有 BERT Transformer 层。每一层都应用多头自注意力机制,使得每个标记能够同时关注双向中的其他所有标记,从而在每个位置构建丰富的上下文感知表示。

公式
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

从最终 BERT 层中提取与 [CLS] 标记对应的隐藏状态,作为一个固定长度的向量,代表整个输入序列。这个池化表示捕获了文本的整体含义。

4

一个线性的分类头部——一个权重矩阵和一个偏置——将 [CLS] 向量映射到每个类别的分数。softmax 函数将这些分数转换为类别概率,概率最高的类别即为预测结果。

公式
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

整个模型——BERT 层和分类头部——在标注训练集上使用交叉熵损失和较小的学习率(通常是 2e-5 到 5e-5,使用 AdamW 优化器)进行联合优化,训练轮数较少(通常为 3-5 轮)。学习率预热计划可防止早期过大的梯度更新破坏预训练权重。

常见陷阱

  • 使用过高的学习率,这会破坏预训练的权重,导致性能与随机基线无异。
  • 截断所有输入而不检查最相关文本是位于序列的开头还是结尾。
  • 跳过适当的训练/验证/测试集划分,仅在训练集上测量性能。
  • 忽略类别不平衡——在不平衡的数据集上仅报告准确率会掩盖少数类别的低召回率。
  • 在部署环境缺乏 GPU 资源时选择 BERT,会导致生产环境中不可接受的推理延迟。

常见问题

我需要多少标注数据来微调 BERT?

由于预训练已经注入了丰富的语言先验知识,BERT 只需要每个类别几百个标注样本即可产生有用的性能。性能会随着标注样本数量增加到几千个而显著提高;超过这个数量,收益会递减。每个类别少于约 100 个样本时,过拟合的风险很高——可以考虑数据增强或使用更轻量级的模型。

微调时应该使用什么学习率?

原始论文推荐的标准范围是使用 AdamW 优化器,学习率在 2e-5 到 5e-5 之间。较高的学习率往往会破坏预训练的权重;较低的学习率会使收敛速度非常慢。在训练步骤的前 10% 使用线性预热。

我的文本长度超过 512 个标记。我该怎么办?

常见的策略包括截断到前 512 个或后 512 个标记,将文档分割成重叠的块并聚合 [CLS] 表示,或者使用像 Longformer 或 BigBird 这样可以处理数千个标记序列的长文档模型。

我应该使用 BERT-base 还是 BERT-large?

BERT-base(1.1 亿参数)是实际上的默认选择:它训练速度更快,使用的 GPU 内存更少,并且其准确率对于大多数分类任务来说已经足够。BERT-large(3.4 亿参数)可以在复杂任务上额外提高几个百分点,但需要更多的计算资源,并且在较小的数据集上容易过拟合。

如何公平地评估分类器?

在进行任何微调之前,将数据分割成训练集、验证集和测试集。报告宏 F1 分数(而不仅仅是准确率),以便能够看到少数类别的性能。使用验证集进行超参数搜索和早期停止,并且仅在最后一次报告测试集结果。

相关方法

参考文献

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    打开 DOI 文献
    已复制。
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    打开 DOI 文献
    已复制。