它有什么作用?
层次聚类是一种无监督方法,它将观测值分组到嵌套的簇中,并将结果绘制成树状图,因此不必预先确定簇的数量。其凝聚形式基于 Joe Ward 于 1963 年提出的目标函数分组标准。
方法背后的直觉
设想每个观测值最初都是自己的微小分组。在每一步中,最相似的两个组被合并,然后是下一对,依此类推,直到所有观测值合并成一个单一的树。在不同高度切割该树会得到不同数量的簇,因此您可以在看到数据结构后决定如何细分数据,而不是预先确定一个固定的数量。
历史学
层次聚类的凝聚形式由 Joe H. Ward 于 1963 年正式确立,他将簇合并视为目标函数的优化——在每次合并时最小化组内方差的增加。Ward 链接仍然是最广泛使用的标准之一,它产生的树状图是社会、健康和商业科学中标准的探索性工具。
何时使用
当您想在不预先指定簇数量的情况下发现数据结构时,可将其用于探索性分组,适用于具有至少约 10 个观测值的连续、有序或分类特征。它假设较少,但依赖于两个选择:合适的距离度量和合适的链接方法。观测值少于约 10 个时,距离矩阵不可靠,树状图无法显示有意义的结构,因此 K-means 是更安全的选择;在非常小的样本中,结果对链接方法的敏感度过高,簇成员不稳定。
局限与注意事项
- 结果在很大程度上取决于所选的距离度量和链接方法,这些都是用户决策。
- 在小样本中,簇成员不稳定,对链接方法的敏感度过高。
- 观测值少于约 10 个时,距离矩阵不可靠,树状图不显示有意义的结构。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 不需要预先确定簇的数量 — 您可以从树状图中读取。
- 树状图提供了簇在不同相似度级别如何嵌套的可视化解释图。
- 假设较少:无需正态性假设,并且可以通过距离选择来适应连续、有序和分类特征。
- 作为探索性工具,在确定分区之前揭示数据结构。
应用
- 当组的数量未知时,对观测值进行探索性分割。
- 构建树状图以可视化案例在不同相似度级别如何嵌套。
- 对具有混合连续、有序和分类特征的受访者、样本或单元进行分组。
- 生成候选簇数量以告知后续的分区方法。
使用方式
使用方式
首先,使用选定的距离度量计算每对观测值之间的距离,生成一个距离矩阵。度量方法的选择很重要:它定义了什么被视为“相似”,而连续、有序和分类特征可能需要不同的距离定义。
从每个观测值作为自己的簇开始,算法根据选定的链接方法反复合并最接近的两个簇。例如,Ward 标准合并后会产生组内平方和增量最小的对,从而使生成的簇尽可能紧凑。链接方法的选择极大地影响了最终的分组。
公式
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2合并的序列被记录为树状图,其分支高度显示了簇合并的距离。在选定高度切割树状图可得到簇分配,因此簇的数量是从树上读取的,而不是预先指定的。
常见陷阱
- 在观测值少于约 10 个时运行,此时距离矩阵和树状图不可信。
- 在没有依据的情况下选择距离度量和链接方法,并将结果视为确定性的。
- 在小样本上信任不稳定的簇成员,而不是切换到 K-means 或高斯混合模型。
- 在检查树状图的自然切割点之前,强制设定一个固定的簇数量。
常见问题
我需要先选择簇的数量吗?
不需要。层次聚类无论如何都会构建完整的合并树,您之后可以通过在选定高度切割树状图来决定簇的数量——这是它相对于 K-means 等方法的主要优势之一。
我应该使用哪种距离度量和链接方法?
两者都是重要的选择,它们会极大地影响结果。距离度量应与您的特征类型匹配,而 Ward 链接是一个常见的默认选项,因为它通过在每次合并时最小化组内方差的增加来保持簇的紧凑性。
我需要多少观测值?
至少约 10 个。少于此数量时,距离矩阵不可靠,树状图无法揭示有意义的结构,因此 K-means 是更安全的选择。
为什么我的簇不稳定?
在小样本中,结果对链接方法的敏感度过高,因此簇成员会随着微小的变化而移动。在这种情况下,可以考虑使用 K-means 或高斯混合模型。
相关方法
参考文献
Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.
打开 DOI 文献已复制。