它有什么作用?
少样本文本分类使用每类仅少量标注示例来将文档分配到类别。在高 et al. (2021) 的研究进展以及 Tunstall et al. (2022) 的无提示 SetFit 方法的基础上,它依赖于原型网络、MAML 或大型预训练模型的微调来从稀疏标签中学习。
方法背后的直觉
大多数分类器需要大量的标注训练集,但文本标注成本高昂,有时每类只有几个示例。少样本文本分类通过从一个已经理解语言的模型——一个大型预训练模型——开始,并用每类仅几个示例将其引导到你的类别,来解决这个问题。它不是从头开始学习每个类别,而是将新文档与少量标注原型进行比较,或轻微调整预训练模型,以便每类一个示例也能指导决策。
历史学
少样本文本分类源于适应于语言的少样本和元学习研究。Gao et al. (2021) 展示了如何使预训练语言模型成为更好的少样本学习者,而 Tunstall et al. (2022) 引入了 SetFit,实现了无需提示的高效少样本学习,使得该方法在小型标注集和强大的预训练骨干下变得实用。
何时使用
当你需要分类文本但每类只有少量标注示例时,使用少样本文本分类——远少于传统监督分类器所需的数量。它假设每个类别至少有一个示例,并且当有大型预训练模型可提供缺失的知识时效果最好。如果有充足的标注数据,普通的监督文本分类器是更简单的选择。
局限与注意事项
- 需要每类至少一个标注示例;完全未见过的类别无法预测。
- 质量严重依赖于预训练骨干——一个弱的或不匹配的模型会限制性能。
- 使用极少的示例时,预测可能不稳定且对所选示例敏感。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 从非常少的标注示例中学习——每类少至一个——而传统监督分类器在此失败。
- 重用大型预训练模型中广泛的语言知识,因此只需要很少的任务特定数据。
- 跨策略的灵活性:原型网络、MAML 或轻量级微调都适合同一流程。
应用
- 在标注成本高昂且每个类别只有少量示例时对文本进行分类。
- 在进行大规模标注之前,为新领域或标签集引导分类器。
- 在研究和操作环境中,使用稀疏标签进行文本分类的快速原型设计。
- 用新的、稀疏标注的类别扩展现有方案。
使用方式
使用方式
你组装一个包含每类至少一个示例的小型标注集——有时每类只有几个。这是方法从中学习的支持集;它越小,方法越依赖预训练模型中已有的知识。
选择一个大型预训练模型作为骨干,因为它已经编码了广泛的语言知识。首选强大的预训练模型——它预先对语言了解得越多,你的每个类别就需要从你的少量示例中学到的就越少。
骨干通过以下几种少样本策略之一进行引导:原型网络从少量示例构建类别原型并按最近原型分类;MAML 元学习初始参数以快速适应;微调轻微地在小数据集上更新预训练模型。
每个新文档都由适应后的模型编码,并分配一个类别标签——通过最近原型或微调后的分类器头部——尽管训练数据稀疏,但每个文档仍会得到一个预测标签。
常见陷阱
- 将一个零标注示例的类别视为可学习的——每个类别都必须至少有一个示例。
- 将该方法与小型或匹配不佳的预训练模型配对,这会移除少样本设置所依赖的先验知识。
- 从微小支持集中过度解读准确性;由于示例太少,评估估计值是嘈杂的。
常见问题
它每类到底需要多少示例?
每类至少需要一个标注示例,并且该方法设计为仅使用每类几个示例即可工作。你提供的示例越少,它就越依赖于预训练骨干的先验知识。
我应该使用哪种少样本策略?
原型网络从少量示例中为每个类别构建一个原型,并按最近原型进行分类;MAML 元学习参数以快速适应新任务;微调在小数据集上轻微更新预训练模型。这三种都适合同一流程;无提示的 SetFit 风格的微调是一个实用的默认选项。
为什么预训练模型如此重要?
只有少量标注示例时,大部分知识必须来自其他地方。大型预训练模型提供了广泛的语言理解能力,因此更强的骨干通常能带来更好的少样本结果。
我应该何时选择普通的监督分类器?
当你拥有充足的标注数据时。少样本方法适用于低标签场景;当有一个大型平衡的标注集时,标准的监督文本分类器更简单,通常也更强大。