RoBERTa-based 分类微调
- 提出者
- Liu, Y. et al. (Meta AI / University of Washington)
- 年份
- 2019
- 类型
- Pretrained transformer fine-tuned for classification
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
RoBERTa-based 分类微调通过添加分类头并使用标记数据继续训练,将 RoBERTa 预训练 Transformer(本身是 BERT 的鲁棒重训练变体)适配到特定的文本分类任务。它在情感分析、主题分类、毒性检测和类似的自然语言处理任务上始终能达到最先进或接近最先进的性能。
方法背后的直觉
RoBERTa 已经阅读了海量的文本,并学习了丰富的、上下文相关的语言表示。微调是为特定的分类任务重新利用这些知识:在顶部放置一个小的分类层,然后使用标记数据对整个模型进行几个周期的训练。由于语言理解的繁重工作已在预训练期间完成,即使是几百到几千个标记的示例也足以产生一个强大的分类器。其结果优于早期的自然语言处理方法,因为每个词元都代表了整个句子的上下文,而不仅仅是其局部窗口。
历史学
RoBERTa 由 Meta AI 的 Liu 等人在 2019 年作为 BERT 的复制研究和扩展提出,表明 BERT 的训练严重不足。通过在更多数据上、使用更大的批次、动态掩码进行更长时间的训练,并移除下一句预测目标,RoBERTa 在 GLUE 和 SuperGLUE 基准上超越了 BERT。将其微调用于分类很快成为研究和工业界实际自然语言处理分类任务的实际起点。
何时使用
当您有一个文本分类问题——情感、主题、意图、毒性、立场或任何标签分配任务——并且每个类别至少有几百个标记示例,最好是超过一千个时,选择 RoBERTa 分类微调。当语言细微差别、长距离上下文或特定领域措辞很重要时,它表现出色。当准确率至关重要且计算资源允许时,使用 roberta-large;当 GPU 资源有限时,使用 roberta-base。当您需要一个具有明确特征权重的完全可解释的模型时,当您的数据集非常小(每个类别少于约 100 个标记示例)且没有数据增强时,或者当延迟限制排除了 Transformer 推理时,请不要使用它。
局限与注意事项
- 计算成本高昂:微调 roberta-large 需要 GPU 和大量内存,限制了可访问性。
- 最大输入长度为 512 个词元意味着非常长的文档必须在分类前被分块或摘要。
- 黑盒性质使得在没有 SHAP 或 LIME 等事后工具的情况下很难解释预测。
- 在非常小的标记数据集上进行微调,尽管有预训练基础,但有过度拟合的风险。
- 模型大小使得在没有蒸馏或量化的情况下,部署延迟成为实时生产系统中的一个问题。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在标准的自然语言处理分类基准上始终获得最先进或接近最先进的准确率。
- 捕获完整的双向上下文,处理更简单的模型会遗漏的否定、指代和长距离依赖关系。
- 由于丰富的预训练语言表示,所需的标记数据比从头开始训练少得多。
- 特定领域的检查点(例如,BioBERT、FinBERT 衍生的 RoBERTa)可以进一步提高专业领域的性能。
- Hugging Face Transformers 库通过最少的样板代码使实现变得简单。
应用
- 产品评论、社交媒体帖子和调查反馈的情感分析。
- 在线内容审核中的毒性和仇恨言论检测。
- 新闻主题分类和对话系统中的意图分类。
- 健康信息学中的临床笔记分类和医学编码。
- 计算社会科学中的立场检测和论点挖掘。
- 法律文件分类和合同条款标记。
使用方式
使用方式
加载预训练的 RoBERTa 检查点(例如,来自 Hugging Face 的 roberta-base 或 roberta-large)。RoBERTa 使用动态掩码在比原始 BERT 大得多的语料库上进行了预训练,并且训练步数更多,使其表示在不同领域更加鲁棒和通用。
输入文本使用 RoBERTa 的字节对编码(BPE)词汇表进行词元化。每个示例都以一个特殊的 [CLS] 词元为前缀,并被截断或填充到模型的最大序列长度(通常为 512 个词元)。注意力掩码指示真实词元与填充词元。
由最后一个 Transformer 层产生的 [CLS] 词元的隐藏状态通过一个具有 softmax(多类)或 sigmoid(多标签)激活的线性分类头进行传递,以产生类别概率。
公式
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)整个模型——所有 Transformer 层加上分类头——在标记数据集上使用交叉熵损失和小的学习率(通常为 1e-5 至 3e-5)进行端到端训练。通常几个周期(2-5 个)就足够了;更长的训练会冒着灾难性遗忘预训练知识的风险。
公式
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i在保持的测试集上使用准确率、宏 F1 分数以及类别级别的精确率和召回率来评估性能。对于不平衡类别,宏 F1 分数和 AUC-ROC 比原始准确率更受青睐。对于二元任务,预测值阈值设置为 0.5;对于多类任务,则使用 argmax。
常见陷阱
- 使用过高的学习率(高于 5e-5),这会破坏预训练的表示——这种现象称为灾难性遗忘。
- 仅在类别不平衡的情况下仅评估准确率,这会掩盖少数类别上的召回率低下。
- 跳过训练/验证/测试集划分,并在测试集上调整超参数,从而夸大报告的性能。
- 为了速度将所有文本截断为 128 个词元,而不检查区分性内容是否位于截断部分。
- 忘记设置固定的随机种子并且不报告跨运行的方差,导致结果不可复现。
常见问题
微调的 RoBERTa 与微调的 BERT 有何不同?
RoBERTa 使用与 BERT 相同的 Transformer 架构,但使用动态掩码在更大的语料库(160 GB vs 16 GB)上进行了预训练,训练步数更多,并且没有下一句预测目标。这些改变产生了更鲁棒的表示,并且微调的 RoBERTa 在大多数分类基准上始终优于 BERT。
我需要多少标记示例?
每个类别几百个示例通常足以获得合理的结果,因为预训练模型已经理解了语言。对于每个类别少于约 100 个示例的情况,建议使用少样本提示或数据增强策略来降低过度拟合的风险。
我应该使用哪个 RoBERTa 变体——base 还是 large?
roberta-base(1.25 亿参数)是一个实用的默认选项:它可以在单个 GPU 上快速微调,并且性能通常接近 roberta-large。当基准准确率是主要目标且计算资源不是瓶颈时,请使用 roberta-large(3.55 亿参数)。
如何处理长度超过 512 个词元的文本?
常见策略包括截断到信息量最大的片段(通常是开头和结尾)、将文档分割成重叠的块并聚合预测,或者使用分层方法,其中句子级嵌入在分类前被池化。
如何使模型的预测更具可解释性?
应用 SHAP 值(通过 shap 库的 Explainer for transformers)或 LIME 来将预测归因于输入词元或跨度。注意力权重也可以突出相关的文本区域,尽管它们本身并不是特征重要性的可靠代理。
相关方法
参考文献
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
打开出版物文献已复制。Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
打开 DOI 文献已复制。