Skip to content
返回搜索结果

零样本分类 — 无需训练数据的文本分类

提出者
Yin, Hay & Roth
年份
2019
类型
NLP text-classification task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

零样本分类是一种自然语言处理任务,它将文本分配到用自然语言描述的类别中,而无需任何带标签的训练数据。Yin、Hay和Roth (2019) 将其形式化为一个蕴涵问题,它允许大型预训练语言模型通过简单地命名新类别来即时识别它们,从而能够快速适应新的标签集。

方法背后的直觉

通常,分类器在识别类别之前必须看到每个类别的许多带标签的示例。零样本分类跳过了这一步:您将类别名称作为普通词语提供——例如政治、体育、科学——而一个已经理解语言的大型预训练语言模型会判断每个候选标签与文本的匹配程度。由于模型自带广泛的语言知识,您可以立即添加或更改类别,而无需收集和标注新的训练数据。

历史学

零样本文本分类由Yin、Hay和Roth (2019) 系统地进行了基准测试并将其构建为文本蕴涵问题,他们表明,经过自然语言推理训练的模型可以通过将每个标签视为一个假设来对未见类别进行文本分类。大型语言模型执行它们从未明确训练过的任务的更广泛能力由Brown等人 (2020) 在GPT-3的少样本学习工作中推广。

何时使用

当您有文本需要分类但没有带标签的训练数据,并且类别可能随时间变化或增长时,零样本分类是合适的。它需要一个大型预训练语言模型(例如基于BART或RoBERTa的蕴涵模型)以及定义清晰且互不重叠的候选标签。它非常适合快速原型设计以及收集每个类别的带标签示例不切实际的场景。

局限与注意事项

  • 依赖于大型预训练语言模型(BART、RoBERTa),这会带来计算成本。
  • 准确性取决于候选标签措辞的清晰度和互不重叠性。
  • 在没有特定任务训练的情况下,当存在充足的带标签数据时,其性能可能不如有监督分类器。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 无需带标签的训练数据——类别用自然语言描述。
  • 快速适应新类别:添加一个类别只需将其名称添加到候选标签列表。
  • 利用大型预训练模型中已有的广泛语言知识。

应用

  • 将文档分类到频繁变化的标签集中,而无需重新训练。
  • 在收集任何带标签数据之前,快速进行分类任务的原型设计。
  • 仅使用类别名称对传入文本(主题、意图)进行路由或标记。
  • 探索研究和操作文本语料库中新兴的类别。

使用方式

使用方式

1

您将目标类别描述为自然语言候选标签——模型可以直接读取的短语。这些标签必须措辞清晰且互不重叠,因为模型会将文本与每个书面标签进行比较;模糊或重叠的标签会模糊决策。

2

文本和候选标签被输入到大型预训练语言模型中,例如BART或RoBERTa。不会在您自己的数据上进行拟合——模型利用其在预训练期间获得的语言知识来表示文档和每个候选标签。

3

模型评估每个候选标签被文本支持的强度,将任务构建为自然语言推理:文本是否蕴含它属于此标签的假设?每个标签都会从预训练模型获得一个兼容性分数。

4

得分最高的标签被分配给文本(或在多标签设置中分配一组排序的标签)。由于评分完全依赖于预训练模型,因此添加新类别就像将其名称添加到候选列表一样简单。

常见陷阱

  • 模糊或重叠的候选标签会模糊模型的决策;请清晰定义每个标签并保持它们互不重叠。
  • 期望零样本分类的准确性与有充足带标签数据时的完全有监督分类器相匹配——在这种情况下,应训练有监督模型。
  • 使用小型或通用模型而不是大型具备蕴涵能力的模型会降低结果。
  • 使用预训练模型不擅长处理的语言来措辞标签会降低可靠性。

常见问题

零样本分类需要任何训练数据吗?

不需要。这是它的决定性特征:您将类别描述为自然语言候选标签,大型预训练模型会判断匹配度,因此不需要带标签的示例。

它依赖于哪种模型?

它依赖于大型预训练语言模型,通常是经过蕴涵训练的模型,例如BART或RoBERTa。结果的质量在很大程度上取决于使用有能力的预训练模型而不是小型通用模型。

我应该如何编写候选标签?

清晰定义它们并保持它们互不重叠。模型会将文本与每个书面标签进行比较,因此模糊或重叠的标签会模糊决策并降低准确性。

它和有监督分类器一样准确吗?

不一定。当您有充足的带标签数据时,在此数据上训练的有监督分类器可以胜过零样本分类。零样本分类在带标签数据稀缺或类别集不断变化时表现出色。

相关方法

参考文献

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    打开 DOI 文献
    已复制。
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    打开出版物文献
    已复制。