Skip to content
返回搜索结果

文本分类 — 文本归类

类型
Supervised NLP classification task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

文本分类(Text classification),亦称文本归类(text categorization),是一项监督式自然语言处理任务,旨在自动将文档分配到预定义的类别中。该方法借鉴了 Joachims (1998) 建立的用于文本归类的支持向量机方法,并由 Aggarwal 和 Zhai (2012) 在文本挖掘文献中加以巩固,通过从标记示例中学习,为垃圾邮件检测和主题分类等任务提供支持。

方法背后的直觉

当您拥有大量文档,且每篇文档都属于一组固定类别中的一个时,手动排序无法扩展。文本分类从一组已标记的示例中学习区分不同类别的模式,然后自动将这些模式应用于标记新的、未见过的文档 — 类似于通过展示预排序的堆叠来教授分类器,并让它自行归档其余部分。

历史学

文本分类通过 Joachims (1998) 成为了一个基准机器学习问题,他证明了支持向量机能够很好地处理文本分类的众多相关特征。随后,Aggarwal 和 Zhai (2012) 在更广泛的文本挖掘文献中巩固了该领域,该任务至今仍是应用自然语言处理的核心组成部分。

何时使用

当您拥有按预定义类别排序的文本数据,并且有标记的训练集可供学习时,请使用文本分类。它至少需要大约 100 个标记的文档,并且倾向于均衡的类别分布,以便分类器能够学习每个类别。文档少于约 100 篇时,分类器往往会过拟合,因此零样本(zero-shot)方法更安全;如果完全没有文本数据,该方法则无法运行,此时应采用对分类变量进行的一般性分类。

局限与注意事项

  • 需要标记的训练数据,这可能成本高昂。
  • 倾向于均衡的类别分布;倾斜的类别会使某些类别难以学习。
  • 需要一个规模适中的语料库(约 100 篇或更多文档)以避免过拟合。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 自动化标记大量手动排序不切实际的文档集合。
  • 通过相同的监督式流程适应多种任务 — 如垃圾邮件检测、主题分类和类似的归类问题。
  • 直接从标记示例中学习特定领域的模式,而不是依赖于固定规则。

应用

  • 垃圾邮件检测 — 将不需要的消息与合法消息分开。
  • 主题分类 — 将文档或文章路由到主题类别。
  • 按类别组织和分类大型文档集合。
  • 跨越健康、社会、教育、工程、自然科学和商业文本语料库的预测和分类任务。

使用方式

使用方式

1

从一个文档语料库开始,其中每个示例都已带有预定义的类别标签。这些标记的训练数据是监督式任务的基础;类别分布越均衡,分类器学习每个类别的能力就越可靠。

2

原始文本经过清洗和标准化处理,以便文档具有可比性:去除噪声,并对内容进行归一化和分段,以形成可分析的单元。跳过此步骤会导致噪声标记损害后续所有环节。

3

清洗后的文本被转换为分类器可读的数值特征 — 例如,捕捉区分类别的词语的词频表示。这会将词语转换为学习算法操作的数字。

4

在标记的、向量化的训练数据上拟合一个监督式分类器,学习文本特征与类别标签之间的关联,以便为每个新文档分配一个标签。

5

在保留的标记数据上对训练好的模型进行评分,并检查其误分类情况,然后才能部署。由于类别不平衡会使原始准确率产生误导,因此性能的评估应基于模型旨在区分的类别。

常见陷阱

  • 在过少的文档(约 100 篇以下)上进行训练会导致在小型训练集上过拟合;此时应优先选择零样本(zero-shot)分类方法。
  • 跳过文本预处理会导致噪声标记损害特征和模型。
  • 类别不平衡会使普通准确率产生误导;应检查每个类别的性能,而不是依赖单一的准确率数值。
  • 当根本没有文本数据时应用该方法 — 回退到对分类变量进行的一般性分类。

常见问题

我需要多少标记数据?

计划至少准备大约 100 篇标记的文档。低于此数量,分类器倾向于在小型训练集上过拟合,因此零样本(zero-shot)分类方法是更安全的选择。

类别平衡是否重要?

是的。倾向于均衡的类别分布,以便分类器能够可靠地学习每个类别。对于倾斜的类别,应评估每个类别的性能,而不是依赖整体准确率。

如果我没有文本数据怎么办?

文本分类在没有文本的情况下无法运行。如果您的变量是分类变量,请对该结构化数据使用一般性分类方法。

它与文档聚类有何不同?

文本分类是监督式的:它将文档分配到从标记示例中学习到的预定义类别。文档聚类是无监督式的,它在没有预定义标签的情况下将相似的文档分组。

相关方法

参考文献

  1. Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.

    打开 DOI 文献
    已复制。
  2. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN:978-1-4614-3222-7
    已复制。