贝叶斯高斯混合模型
- 提出者
- Attias, H.; Bishop, C. M.
- 年份
- 1999–2006
- 类型
- Probabilistic clustering / density estimation
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
贝叶斯高斯混合模型(Bayesian Gaussian Mixture Model)在所有混合参数上放置先验分布,并通过变分贝叶斯(Variational Bayes)或马尔可夫链蒙特卡洛(MCMC)推断其后验分布,而不是拟合固定的点估计。这提供了原则性的不确定性量化、有效组件数量的自动选择以及对小型数据集过拟合的抵抗力。
方法背后的直觉
标准高斯混合模型(GMM)会询问要拟合多少个簇,然后固定该数量,通过期望最大化(EM)算法优化固定的均值和协方差。贝叶斯版本则对每个参数持有概率分布:它对每个簇的位置、形状,甚至一个簇是否是必需的,都保持不确定性。通过先验,数据不支持的组件会自动收缩至零权重,因此模型可以在无需跨多个 K 值进行模型选择的情况下,自行确定其有效复杂度。
历史学
混合模型的贝叶斯处理通过 1990 年代的 MCMC 采样器得以形式化。Attias (1999) 提出了 GMM 的变分贝叶斯方法,该框架由 Bishop (2006) 在《模式识别与机器学习》中推广和系统化,其中第 10 章给出了完整的推导。使用狄利克雷过程先验的非参数扩展,允许真正开放式的 K,随后由 Rasmussen (2000) 和 Blei & Jordan (2006) 提出。
何时使用
当您需要对连续多元数据进行概率软聚类或密度估计,并且希望避免预先固定组件数量 K,或者需要对簇分配和参数进行不确定性估计时,可以使用此模型。它非常适合中小型数据集(数十到数万个观测值),而标准 EM-GMM 会在此类数据集上过拟合。不适用于未经降维处理的非常高维数据、仅包含分类或有序特征的数据,或者当只需要非概率硬划分且速度至关重要时。
局限与注意事项
- 变分贝叶斯找到 ELBO 的局部最优解,而非全局后验;结果可能取决于初始化。
- 先验超参数的选择(尤其是狄利克雷浓度)会影响哪些组件得以保留,因此必须对其进行论证。
- 与标准 EM-GMM 相比,每次迭代的计算成本更高,并且从头开始实现的难度更大。
- 高维数据(许多特征)需要仔细的协方差参数化或先验降维。
- 解释组件后验需要熟悉变分推断的概念。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 自动剪枝未使用组件,减少了通过重复网格搜索预先指定 K 的需求。
- 返回参数的完整后验分布,能够对簇分配进行校准的不确定性量化。
- 对小型数据集的过拟合具有抵抗力,因为先验对组件协方差和权重进行了正则化。
- 软分配使其适用于下游概率模型和混合密度网络。
- 变分贝叶斯实现比完整的 MCMC 具有更好的可扩展性,同时保留了贝叶斯的好处。
应用
- 说话人日志和音频分割,其中说话人数量未知。
- 通过识别在所有学习到的组件下概率较低的观测值来进行异常检测。
- 图像分割和颜色量化,具有软像素到簇的成员资格。
- 用于生成模型和连续多元数据模拟的密度估计。
- 在真实亚型数量不确定时,对基因组或临床患者特征进行聚类。
- 初始化更复杂的生成模型,例如变分自编码器。
使用方式
使用方式
将共轭先验置于混合比例(狄利克雷分布)、组件均值(高斯分布)和精度矩阵(Wishart分布)上。狄利克雷浓度参数控制混合权重的分布范围:较小的值会将权重集中在少数簇上,有效地惩罚不必要的组件。
公式
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)变分期望步骤(variational E-step)使用对数混合权重和对数精度行列式的当前期望值(而非点估计)来计算软责任度 r_nk——即观测值 n 属于组件 k 的近似后验概率,从而使参数不确定性传播到簇分配中。
公式
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]每个组件的充分统计量通过软责任度累积得到:有效计数 N_k、加权均值和加权散布矩阵。这些统计量取代了硬计数 EM 中的等效项,并驱动后续的参数后验更新。
公式
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top通过将充分统计量加到先验超参数上,更新每个共轭后验的自然参数。狄利克雷后验将低 N_k 的组件收缩至零权重,从而实现对未使用簇的自动剪枝。
公式
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
通过证据下界(Evidence Lower BOund, ELBO)监控收敛情况,ELBO 是对数边际似然的下界。ELBO 在每次变分 EM 循环中保证非递减;迭代持续进行,直到改进量低于某个容差值。
公式
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]常见陷阱
- 将初始组件数量 K 设置得过小,即使未使用组件被剪枝,也可能阻止模型发现所有真实结构。
- 在未进行简短超参数扫描的情况下,忽略了对狄利克雷先验浓度的敏感性。
- 信任单一的随机初始化;多次重启并选择最佳 ELBO 很重要。
- 将模型应用于离散或混合类型数据,而未将特征转换为近似连续高斯形式。
- 仅报告簇标签而不报告软分配,丢弃了模型关键的概率输出。
常见问题
这与标准的 EM 拟合 GMM 有何不同?
标准 EM 提供点估计(固定的均值、协方差、权重)并要求在拟合前固定 K。贝叶斯 GMM 推断所有参数的完整后验分布,自动剪枝空组件,并将参数不确定性传播到预测中。
如何选择初始组件数量 K?
将 K 设置得比预期的簇数量大。狄利克雷先验将收缩有效计数:不受数据支持的组件会累积接近零的权重并被自动剪枝。一个常见的经验法则是从 K = 2 × (预期簇数) 开始。
变分贝叶斯是否总是优于此模型的 MCMC?
变分贝叶斯更快且是确定性的,但用因子化分布近似后验,可能低估不确定性。MCMC 渐近精确但成本高昂。对于大多数中等规模数据的实际问题,变分贝叶斯是务实的最佳选择。
哪些超参数最重要?
狄利克雷浓度 alpha_0 控制组件剪枝的激进程度。较小的值(例如 0.01 到 1)倾向于稀疏解;较大的值则更均匀地分布权重。Wishart 分布的自由度 nu_0 和尺度 W_0 控制协方差形状的约束程度。
何时应改用狄利克雷过程 GMM?
当您希望进行完全非参数化处理,根本不需要指定上限 K 时,应使用狄利克雷过程(无限混合)GMM。其权衡是更高的实现复杂性和更慢的推理。
相关方法
参考文献
Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.
ISBN:978-0-387-31073-2已复制。Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.
打开出版物文献已复制。