半监督高斯混合模型
- 提出者
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- 年份
- 2000
- 类型
- Generative semi-supervised classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督高斯混合模型(SS-GMM)是一种生成式概率分类器,它使用期望最大化算法将高斯混合模型拟合到标记数据和未标记数据。标记点约束组件分配,而未标记点改进密度估计,从而在标注稀疏时实现有效学习。
方法背后的直觉
想象一下,你有一些标记样本和许多未标记样本。纯监督模型完全忽略未标记数据;纯聚类模型忽略你的标签。SS-GMM 则能兼顾两者:它将数据建模为高斯簇的混合,将标记点固定在其正确的组件上,并让未标记点在组件之间进行概率浮动。EM 迭代不断调整高斯模型以更好地描述整个数据云,因此稀疏的标签通过共享的密度结构传播到大多数未标记数据。
历史学
SS-GMM 源于 1990 年代末更广泛的半监督学习文献。Nigam 等人(2000 年)使用朴素贝叶斯生成模型(对角线 GMM 的特例)上的 EM 方法进行了文本分类的演示,显示了未标记文档带来的可衡量收益。Chapelle、Scholkopf 和 Zien(2006 年)的有影响力的 MIT 出版社卷集巩固了通用框架,该框架将 SS-GMM 与判别式和基于图的方法一起确立为半监督分类的典型生成方法。
何时使用
当标记样本稀疏但未标记数据丰富,并且底层类条件分布近似为高斯分布或可以通过变换使其成为高斯分布时,使用 SS-GMM。它非常适合低到中等维度的连续特征空间(在大约 20-50 个特征以内,无需降维)。当特征高度非高斯或分类时,当类的数量相对于标记样本很大时,当集群结构与类边界不一致(违反集群假设)时,或者当判别模型(如半监督 SVM 或标签传播)更适合数据几何时,应避免使用它。
局限与注意事项
- 当高斯假设被强烈违反时,模型拟合会下降——可能需要非线性变换或核方法。
- EM 收敛到局部最优;结果对初始化敏感,需要多次重启。
- 高维数据(维度灾难)使得协方差估计在没有正则化或降维的情况下不可靠。
- 如果集群假设不成立(集群与类边界不一致),未标记数据可能会适得其反,而不是提供帮助。
- 对于非常大的未标记数据集,如果不使用随机或小批量 EM 变体,则扩展性较差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在标签昂贵或稀少时,利用未标记数据改进参数估计。
- 提供原则性的概率类后验,实现校准的不确定性量化。
- 数学上透明的生成模型,具有良好的 EM 收敛保证。
- 自然处理多类问题,无需一对多分解。
- 可以扩展为每个类使用多个高斯分量来捕捉类内多峰分布。
应用
- 文本和文档分类,其中只有一小部分文本可以手动标记。
- 医学图像分析,其中专家标注成本高昂,而未标记扫描图像数量众多。
- 生物信息学任务,例如具有部分类标签的基因表达聚类。
- 物联网部署中的传感器和时间序列数据分类,具有稀疏的地面真实标签。
- 通过从丰富的未标记数据中建模正常类密度来进行半监督异常检测。
- 在深度学习占主导地位之前,自然语言处理特征学习。
使用方式
使用方式
初始化混合模型参数——组件均值、协方差和混合权重——可以仅从标记子集中(例如,类条件均值)初始化,或者通过对所有可用数据进行 k-means 聚类来初始化。组件数量 K 通常设置为等于已知类的数量,尽管每个类可以有多个组件。
对于每个未标记点,计算软责任度:给定当前参数,点 i 属于组件 k 的后验概率。标记点接收硬分配——它们对正确类组件的责任度被设置为一,其他地方为零——在不破坏 EM 框架的情况下强制执行监督。
公式
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}与无监督 GMM 相比,标记点上的硬分配约束是关键区别。它将组件身份锚定在类语义上,防止了众所周知的标签切换问题,并确保从无标记数据中学到的集群结构在已知类的意义上是可解释的。
使用来自标记和未标记点的组合责任加权统计量来更新所有混合模型参数。由于未标记点为每个组件贡献了分数计数,因此它们有效地平滑和稳定在标记数据稀疏的区域中的参数估计。
公式
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}重复 E 步和 M 步,直到观测数据对数似然(标记和未标记点之和)停止增加超过一个小容差。仔细监控收敛情况:建议进行多次随机重启,因为 EM 收敛到局部最优,并且最终解依赖于初始化。
通过找到给定收敛参数下具有最高后验概率的组件来对新点进行分类。预测的类是与该组件关联的标签。跨组件的后验概率也充当校准的置信度分数。
公式
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)常见陷阱
- 运行单次 EM 初始化并接受第一次收敛解——应始终使用多次重启。
- 将 K 设置为类的数量,而不考虑类内多峰性,导致密度捕获不佳。
- 在高维空间中应用模型而不先进行降维或正则化协方差矩阵(例如,对角线或共享协方差)。
- 假设未标记数据总是有帮助——如果集群和流形假设被违反,未标记数据可能会降低准确性。
- 忽略恰当加权标记对数似然项;一个常见的修复方法是将标记点贡献的权重提高因子 lambda。
常见问题
SS-GMM 与完全无监督的 GMM 有何不同?
无监督 GMM 在没有任何类标签知识的情况下寻找集群结构,并遭受标签切换问题——集群索引不具有语义意义。SS-GMM 在每次 E 步中将标记点固定在其正确的组件上,将集群身份锚定在类语义上,并允许未标记点精炼密度估计。
如果未标记数据似乎损害了我的准确性怎么办?
这是“集群假设违反”问题:如果类边界与自然密度集群不一致,未标记数据会将模型引导到错误的方向。诊断步骤包括在 2D 中可视化数据(PCA/t-SNE)、增加标记点上的权重 lambda,或切换到判别式半监督方法(如半监督 SVM)。
我应该为每个类使用多少个高斯组件?
从每个类一个组件开始。如果一个类明显具有多峰结构(例如,两个子种群),则允许该类使用两个或更多组件。使用 BIC 或标记子集上的留出似然来比较模型阶数而不发生过拟合。
我应该使用完整、对角线还是共享协方差矩阵?
完整协方差最灵活,但每个组件需要大量样本。在适中到高维度下,对角线协方差(假设特征独立)是最安全的默认选项。共享协方差(所有组件共享一个矩阵)进一步减少了参数数量,适用于类具有相似散布的情况。
标记与未标记贡献的贡献是否有权重?
是的。一个常见的扩展是通过一个因子 lambda > 1 来乘以标记对数似然,以补偿通常数量多得多的未标记点。如果没有这个因子,占多数的未标记点可能会主导参数更新并冲淡监督信号。
相关方法
参考文献
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
打开 DOI 文献已复制。