Skip to content
返回搜索结果

少样本文本分类

类型
NLP text-classification task (low-resource)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

少样本文本分类使用每类仅少量标注示例来将文档分配到类别。在高 et al. (2021) 的研究进展以及 Tunstall et al. (2022) 的无提示 SetFit 方法的基础上,它依赖于原型网络、MAML 或大型预训练模型的微调来从稀疏标签中学习。

方法背后的直觉

大多数分类器需要大量的标注训练集,但文本标注成本高昂,有时每类只有几个示例。少样本文本分类通过从一个已经理解语言的模型——一个大型预训练模型——开始,并用每类仅几个示例将其引导到你的类别,来解决这个问题。它不是从头开始学习每个类别,而是将新文档与少量标注原型进行比较,或轻微调整预训练模型,以便每类一个示例也能指导决策。

历史学

少样本文本分类源于适应于语言的少样本和元学习研究。Gao et al. (2021) 展示了如何使预训练语言模型成为更好的少样本学习者,而 Tunstall et al. (2022) 引入了 SetFit,实现了无需提示的高效少样本学习,使得该方法在小型标注集和强大的预训练骨干下变得实用。

何时使用

当你需要分类文本但每类只有少量标注示例时,使用少样本文本分类——远少于传统监督分类器所需的数量。它假设每个类别至少有一个示例,并且当有大型预训练模型可提供缺失的知识时效果最好。如果有充足的标注数据,普通的监督文本分类器是更简单的选择。

局限与注意事项

  • 需要每类至少一个标注示例;完全未见过的类别无法预测。
  • 质量严重依赖于预训练骨干——一个弱的或不匹配的模型会限制性能。
  • 使用极少的示例时,预测可能不稳定且对所选示例敏感。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 从非常少的标注示例中学习——每类少至一个——而传统监督分类器在此失败。
  • 重用大型预训练模型中广泛的语言知识,因此只需要很少的任务特定数据。
  • 跨策略的灵活性:原型网络、MAML 或轻量级微调都适合同一流程。

应用

  • 在标注成本高昂且每个类别只有少量示例时对文本进行分类。
  • 在进行大规模标注之前,为新领域或标签集引导分类器。
  • 在研究和操作环境中,使用稀疏标签进行文本分类的快速原型设计。
  • 用新的、稀疏标注的类别扩展现有方案。

使用方式

使用方式

1

你组装一个包含每类至少一个示例的小型标注集——有时每类只有几个。这是方法从中学习的支持集;它越小,方法越依赖预训练模型中已有的知识。

2

选择一个大型预训练模型作为骨干,因为它已经编码了广泛的语言知识。首选强大的预训练模型——它预先对语言了解得越多,你的每个类别就需要从你的少量示例中学到的就越少。

3

骨干通过以下几种少样本策略之一进行引导:原型网络从少量示例构建类别原型并按最近原型分类;MAML 元学习初始参数以快速适应;微调轻微地在小数据集上更新预训练模型。

4

每个新文档都由适应后的模型编码,并分配一个类别标签——通过最近原型或微调后的分类器头部——尽管训练数据稀疏,但每个文档仍会得到一个预测标签。

常见陷阱

  • 将一个零标注示例的类别视为可学习的——每个类别都必须至少有一个示例。
  • 将该方法与小型或匹配不佳的预训练模型配对,这会移除少样本设置所依赖的先验知识。
  • 从微小支持集中过度解读准确性;由于示例太少,评估估计值是嘈杂的。

常见问题

它每类到底需要多少示例?

每类至少需要一个标注示例,并且该方法设计为仅使用每类几个示例即可工作。你提供的示例越少,它就越依赖于预训练骨干的先验知识。

我应该使用哪种少样本策略?

原型网络从少量示例中为每个类别构建一个原型,并按最近原型进行分类;MAML 元学习参数以快速适应新任务;微调在小数据集上轻微更新预训练模型。这三种都适合同一流程;无提示的 SetFit 风格的微调是一个实用的默认选项。

为什么预训练模型如此重要?

只有少量标注示例时,大部分知识必须来自其他地方。大型预训练模型提供了广泛的语言理解能力,因此更强的骨干通常能带来更好的少样本结果。

我应该何时选择普通的监督分类器?

当你拥有充足的标注数据时。少样本方法适用于低标签场景;当有一个大型平衡的标注集时,标准的监督文本分类器更简单,通常也更强大。

相关方法

参考文献

  1. Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.

    打开 DOI 文献
    已复制。
  2. Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.

    打开 DOI 文献
    已复制。