Skip to content
返回搜索结果

文档聚类

类型
Unsupervised text-mining task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

文档聚类是一种无监督的文本挖掘任务,它在不使用任何标签的情况下将内容相似的文档分组。它用于组织大型文档集合和进行探索性分析,借鉴了 Aggarwal 和 Zhai (2012) 巩固的文本挖掘技术体系,并由 Steinbach、Karypis 和 Kumar (2000) 进行实证比较。

方法背后的直觉

当你面对一大堆文档而没有人标记它们时,你仍然想知道哪些文档属于同一类。文档聚类正是做这件事:它通过文档的措辞来衡量文档的相似度,并将相似的文档分到同一组,从而使集合的结构自行显现,而不是被预定义的类别所强加。

历史学

文档聚类属于 Aggarwal 和 Zhai 的《Mining Text Data》(2012) 所 survey 的更广泛的文本挖掘领域。Steinbach、Karypis 和 Kumar (2000) 的比较基础研究了不同的文档聚类技术表现如何,有助于确定哪类方法适合文本集合。

何时使用

当你有一个文档集合但没有标签,并且你想组织它或探索它的结构时,请使用文档聚类。文本必须首先被向量化,并且你必须决定集群数量或距离阈值。它需要一个合理的语料库——至少大约 30 篇文档,并且在约 100 篇以上时变得可靠;文档较少时,手动主题分析是更安全的选择。如果根本没有文本数据,则无法应用文档聚类。

局限与注意事项

  • 在小型语料库上结果不可靠;低于大约 100 篇文档时,集群不值得信赖。
  • 需要先对文本进行向量化,并预先设置集群数量或距离阈值。
  • 当根本没有文本数据时,无法应用。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 无监督——它不需要标记数据,因此可以处理没有人注释过的原始集合。
  • 揭示语料库中的潜在结构,非常适合组织集合和探索性分析。
  • 可扩展到手动排序不切实际的大型文档集合。

应用

  • 将大型文档集合组织成连贯的组,以便于导航。
  • 对未标记语料库进行探索性分析,以发现存在的主题。
  • 在更深入的分析之前,将操作和研究中的类似报告、文章或记录分组。
  • 在标记或下游分类之前对集合进行预结构化。

使用方式

使用方式

1

每个文档首先通过文本向量化转化为数值表示——例如 TF-IDF 向量——以便措辞能够被距离度量所比较。没有这一步,聚类算法就无从下手。

2

在分组之前,分析师会确定集群的形成方式:要么是目标集群数量,要么是决定文档何时足够接近以共享一个组的距离阈值。这个选择决定了有多少组出现以及它们有多紧密。

3

聚类算法将每个文档分配到一个组,使得组内的文档比组外的文档更相似。没有标签指导——分组完全由向量空间中的相似性驱动。

4

对结果分组进行检查和表征:分析师阅读每个集群的代表性文档和常见词语,以了解它捕捉了什么主题,从而组织集合或将发现结果输入探索性分析。

常见陷阱

  • 在文档太少(少于约 100 篇)时运行会产生不稳定、不可靠的集群——请改用手动主题分析。
  • 草率地选择集群数量或距离阈值会将任意结构强加给数据;配置应经过推理,而不是猜测。
  • 跳过或糟糕的向量化会导致算法信号微弱,因此分组反映的是噪声而非内容。
  • 在没有真实文本数据的地方应用——一般的内容分析是合适的替代方案。

常见问题

文档聚类与文本分类有何不同?

分类是有监督的——它将文档分配到从标记示例中学到的预定义类别。聚类是无监督的:没有标签,也没有预定义的类别。分组纯粹是从文档彼此之间的相似性中产生的。

我需要多少文档?

工作最低要求约为 30 篇文档,但聚类仅在约 100 篇以上时才可靠。少于约 100 篇时,集群不稳定,手动主题分析是更安全的选择。

我必须提前决定集群的数量吗?

你必须设置目标集群数量或一个距离阈值,该阈值决定了文档何时足够接近以共享一个组。在分组步骤运行之前,需要其中一个配置选项。

如果我的文档还不是数字形式怎么办?

它们必须首先被向量化——例如,转化为 TF-IDF 向量——以便距离度量可以比较它们。向量化是管道的第一阶段;聚类算法作用于这些向量,而不是原始文本。

相关方法

参考文献

  1. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN:9781461432227
    已复制。
  2. Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.

    打开出版物文献
    已复制。