Skip to content
返回搜索结果

高斯混合模型

提出者
Dempster, Laird & Rubin (EM algorithm)
年份
1977
类型
Probabilistic (soft) clustering — mixture model

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

高斯混合模型(Gaussian Mixture Model, GMM)是一种概率聚类方法,它将数据建模为几个高斯分布的加权混合,并通过Dempster、Laird和Rubin于1977年形式化的期望最大化(Expectation–Maximization, EM)算法进行拟合。它是K-均值(K-means)的一种推广,其中每个簇都可以有自己的形状、大小和方向。

方法背后的直觉

想象数据是由几个重叠的钟形云团生成,每个云团都有自己的中心、散布和倾斜。高斯混合模型试图逆向工程这些隐藏的云团:它探究有多少个钟形云团以及它们的位置,并且不强制每个点只属于一个簇,而是为每个点提供属于每个分量的概率。这种软分配使其能够捕获K-均值等硬性、球形方法会错误分割的拉伸或旋转的簇。

历史学

驱动高斯混合模型的期望最大化算法由Dempster、Laird和Rubin在他们1977年关于不完全数据最大似然的论文中形式化,该论文将聚类框定为估计潜在混合的参数。混合模型视角将聚类转化为一个似然问题,并构成了当今广泛使用的基于模型的聚类工具的基础。

何时使用

当簇可能重叠、大小不同或呈拉长而非球形时,并且您需要软概率成员资格而非硬标签时,可使用高斯混合模型进行聚类或探索连续的、大致呈高斯分布的数据。它假设数据是由高斯混合生成的,适用于连续变量,并且至少需要大约50个观测值。分量数量可以通过BIC或AIC选择,建议进行PCA预处理以应对维度灾难。当观测值少于约50个,或高斯假设失效时,K-均值是更稳健的选择。

局限与注意事项

  • 假设数据由高斯混合生成;当该假设失效时,结果会受到影响。
  • EM算法可能收敛到局部最优,因此结果取决于初始化。
  • 协方差矩阵可能变得奇异,尤其是在高维或小样本情况下。
  • 至少需要大约50个观测值,并受益于PCA预处理以避免维度灾难。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 软性、概率性的簇成员资格,而非强制的硬性分配。
  • 每个分量都有自己的协方差,因此簇可以是拉长的、旋转的或大小不同的。
  • K-均值的真正推广,放宽了球形、等大小簇的假设。
  • 分量数量可以通过BIC或AIC等信息准则客观选择。

应用

  • 对簇重叠的连续数据进行软性、概率性聚类。
  • 对具有不同形状或大小簇的子群体进行探索性分析。
  • 通过将数据表示为高斯加权混合进行密度估计。
  • 当球形、等大小簇不切实际时,K-均值的更灵活替代方案。

使用方式

使用方式

1

数据被视为来自K个高斯分布的加权和。每个分量都有一个混合权重、一个均值向量和一个协方差矩阵,因此单个分量可以是拉长或倾斜的,而不是被强制为球形。目标是找到使观测数据最有可能的权重、均值和协方差。

公式
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

在E步中,模型为每个观测值计算每个分量的责任——即该点由该高斯分布生成的后验概率。这些软成员资格取代了K-均值的全有或全无分配,并捕获了簇之间的重叠。

公式
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

在M步中,每个分量的参数根据责任加权统计量重新估计:均值、协方差和混合权重根据每个点对该分量的归属强度按比例更新。E步和M步交替进行,不断增加似然性,直到拟合收敛。

公式
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

分量的数量并非预先固定:候选值通过信息准则(如BIC或AIC)进行比较,这些准则平衡了拟合优度和模型复杂度。由于EM算法可能陷入局部最优,并且协方差矩阵可能变得奇异,因此建议事先进行主成分分析(PCA)等降维处理并进行多次重启。

常见陷阱

  • 在样本量低于约50时运行GMM,此时EM算法容易陷入局部最优且协方差矩阵变得奇异。
  • 在高维数据上跳过PCA或其他降维处理,导致协方差矩阵奇异。
  • 凭经验固定分量数量,而不是通过比较BIC/AIC在候选值之间进行选择。
  • 依赖单次EM运行,而不是多次重启以避免糟糕的局部最优。
  • 将其应用于明显非高斯数据,而K-均值在这种情况下会更稳健。

常见问题

高斯混合模型与K-均值有何不同?

K-均值将每个点精确地分配给一个球形、大小相等的簇。高斯混合模型是其推广:每个分量都有自己的协方差,因此簇可以是拉长的、旋转的或大小不同的,并且每个点都获得属于每个分量的概率,而不是单一的硬标签。

如何选择分量数量?

针对几个候选分量数量拟合模型,并使用信息准则(如BIC或AIC)进行比较,这些准则权衡了拟合优度和模型复杂度,然后选择使准则最优化的数量。

为什么我的GMM每次运行结果都不同?

它通过EM算法拟合,该算法可能根据初始化收敛到局部最优。进行多次重启并保留最佳拟合,以及首先使用PCA进行降维,可以使结果更稳定。

何时应优先选择K-均值?

当样本量较小(低于约50个)或数据明显不是高斯分布时,EM算法可能陷入局部最优,协方差矩阵可能变得奇异;在这些情况下,K-均值是更稳健的选择。

相关方法

参考文献

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    打开 DOI 文献
    已复制。