基于RoBERTa的分类
- 提出者
- Liu, Y. et al. (Facebook AI Research / University of Washington)
- 年份
- 2019
- 类型
- Pre-trained transformer fine-tuned for sequence classification
- 类别
- Deep learning / NLP / CV
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
基于RoBERTa的分类将RoBERTa预训练的Transformer模型(通过动态掩码和更大的批次进行比BERT更稳健的训练)应用于文本分类任务,方法是在[CLS]标记的表示之上添加一个轻量级的分类头,并对整个模型进行有标签示例的微调。它在标准的NLP基准测试上始终能与BERT相匹配或超越BERT。
方法背后的直觉
RoBERTa(Robustly Optimized BERT Pretraining Approach)从一个已经在大规模文本上训练过的深度双向Transformer开始,使其对语言具有丰富的上下文理解。为了对新文本进行分类,在它的特殊[CLS]摘要标记之上放置一个单一的线性层,并在特定任务的有标签数据集上对整个模型进行简短训练。由于RoBERTa消除了BERT中使用的下一句预测目标,并使用更多数据和动态掩码进行训练,因此它产生了更强的表示,需要更少的微调数据即可达到高分类准确率。
历史学
RoBERTa由Facebook AI Research和华盛顿大学的Liu等人于2019年推出,作为对BERT的一项关键的复制和优化研究。作者们表明,BERT的训练严重不足,并且消除了下一句预测、使用动态掩码、使用更大的批次和更多数据进行训练以及使用完整的句子而不是跨文档上下文,产生了显著更强的表示,并在发布时创下了GLUE、SQuAD和RACE的新纪录。
何时使用
当您在文本分类任务(如情感分析、主题标记、意图检测或有毒内容检测)中需要最先进的准确率,并且每类至少有几百个有标签的训练样本时,请优先选择基于RoBERTa的分类。它擅长捕捉更简单的词袋模型或浅层神经网络模型所忽略的细微语义和句法线索。当计算资源有限(需要GPU微调和大量内存)、文本领域高度专业化且没有领域自适应预训练,或者任务涉及远超512个标记的序列且没有分块策略时,应避免使用。
局限与注意事项
- 最大输入长度为512个标记,不进行分块或分层策略则不适用于长文档。
- 微调需要GPU资源和相当长的训练时间;CPU推理对于生产工作负载来说很慢。
- 大型模型尺寸(1.25亿-3.55亿参数)对于边缘或低资源部署可能不切实际。
- 在高度专业化的领域(临床、法律、科学)中,除非使用特定领域的RoBERTa检查点,否则性能会急剧下降。
- 不透明的内部表示使得因果或机制解释变得困难,除非使用额外的XAI工具。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在标准的NLP分类基准上始终能达到接近最先进的准确率,且只需很少的任务特定工程。
- 双向上下文允许它捕捉远处词语之间复杂的依赖关系,这与单向模型不同。
- 预训练期间的动态掩码比BERT的静态掩码产生更鲁棒的表示。
- 可以使用相对较少(每类几百到几千个示例)的有标签数据集进行有效微调。
- 通过HuggingFace可获得广泛的预训练变体生态系统(roberta-base、roberta-large、特定领域检查点)。
- 通过将softmax替换为sigmoid并调整损失函数,可以轻松实现多标签分类。
应用
- 社交媒体、评论和金融新闻中的情感分析和意见挖掘。
- 客户支持、聊天机器人路由和内容审核的主题和意图分类。
- 在线平台上的有毒语言和仇恨言论检测。
- 新闻、法律和学术领域的多类别和多标签文档分类。
- NLP研究流程中的科学声明分类和事实核查。
- 使用领域自适应RoBERTa检查点的临床文本编码和病历分类。
使用方式
使用方式
输入文本使用字节对编码(BPE)分割成子词标记。在前面添加一个特殊的[CLS]标记,在后面添加一个[SEP]标记。将得到的序列截断或填充到固定的最大长度(通常为512个标记)。
标记序列通过RoBERTa的多层双向Transformer编码器。每一层都应用多头自注意力机制和前馈子层,并带有残差连接,为每个标记构建丰富的上下文感知表示。[CLS]标记的最终隐藏状态用作聚合的句子表示。
公式
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)一个线性分类头——一个权重矩阵W和一个偏置b——应用于[CLS]表示,然后是softmax(或多标签的sigmoid)激活,以产生类别概率。
公式
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})所有模型参数——包括预训练的Transformer权重和新的分类头——通过梯度下降在特定任务的有标签示例上联合更新,通常进行3-10个epoch,使用小的学习率(1e-5至5e-5)和线性预热调度器,以避免灾难性遗忘。
在推理时,输入文本被标记化,通过微调后的RoBERTa编码器,然后softmax输出的argmax给出预测类别。概率可以被阈值化以进行多标签或基于置信度的过滤。
常见陷阱
- 在没有单独保留的测试集的情况下,使用相同的分割进行验证和提前停止,导致报告的准确率虚高。
- 忘记处理类别不平衡:在严重倾斜的类别上进行微调,而不使用加权损失或过采样,会导致模型几乎完全预测多数类别。
- 将学习率设置得过高(高于5e-5),并在最初几个训练步骤中灾难性地遗忘预训练的表示。
- 截断长输入而不考虑相关内容是否位于末尾(例如,法律文件中的关键句子),导致系统性的信息丢失。
- 在不平衡数据集上仅报告准确率,而不是宏平均F1分数、精确率、召回率和AUC。
常见问题
RoBERTa在分类方面与BERT有何不同?
RoBERTa消除了BERT的下一句预测目标,使用动态掩码而非静态掩码,在十倍于BERT的数据量上使用更大的小批量进行训练,并使用完整的句子而非文档片段输入。这些变化在标准的基准测试上将下游分类准确率持续提高了1-3个百分点。
微调RoBERTa需要多少有标签数据?
对于二分类或粗粒度任务,RoBERTa可以用每类仅几百个有标签的示例进行有效微调,但对于鲁棒的多类别性能,建议每类使用1000个或更多。如果示例较少,可以考虑使用生成模型的少样本提示或数据增强。
我应该使用roberta-base还是roberta-large?
roberta-base(1.25亿参数)是一个实用的起点,训练速度更快,占用的GPU内存更少。roberta-large(3.55亿参数)通常能提高1-3个百分点的准确率,但计算和内存成本大约是其四倍。当最高准确率至关重要且资源允许时,请使用large。
如果我的文本超过512个标记怎么办?
常用策略包括截断到前512个标记(当分类信号在开头时效果很好)、对重叠的块进行滑动窗口池化,或使用分层模型(用RoBERTa对块进行编码,并用第二个模型进行聚合)。
如何处理类别不平衡?
使用加权的交叉熵损失,其中每个类别的权重与其实际频率成反比,或者对少数类别进行过采样。始终使用宏平均F1分数而不是准确率进行评估,以检测系统性的多数类别偏差。
相关方法
参考文献
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
打开出版物文献已复制。Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
打开 DOI 文献已复制。