Skip to content
返回搜索结果

层次聚类

提出者
Ward, J. H.
年份
1963
类型
Unsupervised clustering (agglomerative)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

层次聚类是一种无监督方法,它将观测值分组到嵌套的簇中,并将结果绘制成树状图,因此不必预先确定簇的数量。其凝聚形式基于 Joe Ward 于 1963 年提出的目标函数分组标准。

方法背后的直觉

设想每个观测值最初都是自己的微小分组。在每一步中,最相似的两个组被合并,然后是下一对,依此类推,直到所有观测值合并成一个单一的树。在不同高度切割该树会得到不同数量的簇,因此您可以在看到数据结构后决定如何细分数据,而不是预先确定一个固定的数量。

历史学

层次聚类的凝聚形式由 Joe H. Ward 于 1963 年正式确立,他将簇合并视为目标函数的优化——在每次合并时最小化组内方差的增加。Ward 链接仍然是最广泛使用的标准之一,它产生的树状图是社会、健康和商业科学中标准的探索性工具。

何时使用

当您想在不预先指定簇数量的情况下发现数据结构时,可将其用于探索性分组,适用于具有至少约 10 个观测值的连续、有序或分类特征。它假设较少,但依赖于两个选择:合适的距离度量和合适的链接方法。观测值少于约 10 个时,距离矩阵不可靠,树状图无法显示有意义的结构,因此 K-means 是更安全的选择;在非常小的样本中,结果对链接方法的敏感度过高,簇成员不稳定。

局限与注意事项

  • 结果在很大程度上取决于所选的距离度量和链接方法,这些都是用户决策。
  • 在小样本中,簇成员不稳定,对链接方法的敏感度过高。
  • 观测值少于约 10 个时,距离矩阵不可靠,树状图不显示有意义的结构。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 不需要预先确定簇的数量 — 您可以从树状图中读取。
  • 树状图提供了簇在不同相似度级别如何嵌套的可视化解释图。
  • 假设较少:无需正态性假设,并且可以通过距离选择来适应连续、有序和分类特征。
  • 作为探索性工具,在确定分区之前揭示数据结构。

应用

  • 当组的数量未知时,对观测值进行探索性分割。
  • 构建树状图以可视化案例在不同相似度级别如何嵌套。
  • 对具有混合连续、有序和分类特征的受访者、样本或单元进行分组。
  • 生成候选簇数量以告知后续的分区方法。

使用方式

使用方式

1

首先,使用选定的距离度量计算每对观测值之间的距离,生成一个距离矩阵。度量方法的选择很重要:它定义了什么被视为“相似”,而连续、有序和分类特征可能需要不同的距离定义。

2

从每个观测值作为自己的簇开始,算法根据选定的链接方法反复合并最接近的两个簇。例如,Ward 标准合并后会产生组内平方和增量最小的对,从而使生成的簇尽可能紧凑。链接方法的选择极大地影响了最终的分组。

公式
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2
3

合并的序列被记录为树状图,其分支高度显示了簇合并的距离。在选定高度切割树状图可得到簇分配,因此簇的数量是从树上读取的,而不是预先指定的。

常见陷阱

  • 在观测值少于约 10 个时运行,此时距离矩阵和树状图不可信。
  • 在没有依据的情况下选择距离度量和链接方法,并将结果视为确定性的。
  • 在小样本上信任不稳定的簇成员,而不是切换到 K-means 或高斯混合模型。
  • 在检查树状图的自然切割点之前,强制设定一个固定的簇数量。

常见问题

我需要先选择簇的数量吗?

不需要。层次聚类无论如何都会构建完整的合并树,您之后可以通过在选定高度切割树状图来决定簇的数量——这是它相对于 K-means 等方法的主要优势之一。

我应该使用哪种距离度量和链接方法?

两者都是重要的选择,它们会极大地影响结果。距离度量应与您的特征类型匹配,而 Ward 链接是一个常见的默认选项,因为它通过在每次合并时最小化组内方差的增加来保持簇的紧凑性。

我需要多少观测值?

至少约 10 个。少于此数量时,距离矩阵不可靠,树状图无法揭示有意义的结构,因此 K-means 是更安全的选择。

为什么我的簇不稳定?

在小样本中,结果对链接方法的敏感度过高,因此簇成员会随着微小的变化而移动。在这种情况下,可以考虑使用 K-means 或高斯混合模型。

相关方法

参考文献

  1. Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.

    打开 DOI 文献
    已复制。