它有什么作用?
文本分类(Text classification),亦称文本归类(text categorization),是一项监督式自然语言处理任务,旨在自动将文档分配到预定义的类别中。该方法借鉴了 Joachims (1998) 建立的用于文本归类的支持向量机方法,并由 Aggarwal 和 Zhai (2012) 在文本挖掘文献中加以巩固,通过从标记示例中学习,为垃圾邮件检测和主题分类等任务提供支持。
方法背后的直觉
当您拥有大量文档,且每篇文档都属于一组固定类别中的一个时,手动排序无法扩展。文本分类从一组已标记的示例中学习区分不同类别的模式,然后自动将这些模式应用于标记新的、未见过的文档 — 类似于通过展示预排序的堆叠来教授分类器,并让它自行归档其余部分。
历史学
文本分类通过 Joachims (1998) 成为了一个基准机器学习问题,他证明了支持向量机能够很好地处理文本分类的众多相关特征。随后,Aggarwal 和 Zhai (2012) 在更广泛的文本挖掘文献中巩固了该领域,该任务至今仍是应用自然语言处理的核心组成部分。
何时使用
当您拥有按预定义类别排序的文本数据,并且有标记的训练集可供学习时,请使用文本分类。它至少需要大约 100 个标记的文档,并且倾向于均衡的类别分布,以便分类器能够学习每个类别。文档少于约 100 篇时,分类器往往会过拟合,因此零样本(zero-shot)方法更安全;如果完全没有文本数据,该方法则无法运行,此时应采用对分类变量进行的一般性分类。
局限与注意事项
- 需要标记的训练数据,这可能成本高昂。
- 倾向于均衡的类别分布;倾斜的类别会使某些类别难以学习。
- 需要一个规模适中的语料库(约 100 篇或更多文档)以避免过拟合。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 自动化标记大量手动排序不切实际的文档集合。
- 通过相同的监督式流程适应多种任务 — 如垃圾邮件检测、主题分类和类似的归类问题。
- 直接从标记示例中学习特定领域的模式,而不是依赖于固定规则。
应用
- 垃圾邮件检测 — 将不需要的消息与合法消息分开。
- 主题分类 — 将文档或文章路由到主题类别。
- 按类别组织和分类大型文档集合。
- 跨越健康、社会、教育、工程、自然科学和商业文本语料库的预测和分类任务。
使用方式
使用方式
从一个文档语料库开始,其中每个示例都已带有预定义的类别标签。这些标记的训练数据是监督式任务的基础;类别分布越均衡,分类器学习每个类别的能力就越可靠。
原始文本经过清洗和标准化处理,以便文档具有可比性:去除噪声,并对内容进行归一化和分段,以形成可分析的单元。跳过此步骤会导致噪声标记损害后续所有环节。
清洗后的文本被转换为分类器可读的数值特征 — 例如,捕捉区分类别的词语的词频表示。这会将词语转换为学习算法操作的数字。
在标记的、向量化的训练数据上拟合一个监督式分类器,学习文本特征与类别标签之间的关联,以便为每个新文档分配一个标签。
在保留的标记数据上对训练好的模型进行评分,并检查其误分类情况,然后才能部署。由于类别不平衡会使原始准确率产生误导,因此性能的评估应基于模型旨在区分的类别。
常见陷阱
- 在过少的文档(约 100 篇以下)上进行训练会导致在小型训练集上过拟合;此时应优先选择零样本(zero-shot)分类方法。
- 跳过文本预处理会导致噪声标记损害特征和模型。
- 类别不平衡会使普通准确率产生误导;应检查每个类别的性能,而不是依赖单一的准确率数值。
- 当根本没有文本数据时应用该方法 — 回退到对分类变量进行的一般性分类。
常见问题
我需要多少标记数据?
计划至少准备大约 100 篇标记的文档。低于此数量,分类器倾向于在小型训练集上过拟合,因此零样本(zero-shot)分类方法是更安全的选择。
类别平衡是否重要?
是的。倾向于均衡的类别分布,以便分类器能够可靠地学习每个类别。对于倾斜的类别,应评估每个类别的性能,而不是依赖整体准确率。
如果我没有文本数据怎么办?
文本分类在没有文本的情况下无法运行。如果您的变量是分类变量,请对该结构化数据使用一般性分类方法。
它与文档聚类有何不同?
文本分类是监督式的:它将文档分配到从标记示例中学习到的预定义类别。文档聚类是无监督式的,它在没有预定义标签的情况下将相似的文档分组。
相关方法
参考文献
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
打开 DOI 文献已复制。Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN:978-1-4614-3222-7已复制。