主动学习高斯混合模型
- 提出者
- Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
- 年份
- 2000s (combination)
- 类型
- Active learning for probabilistic clustering / density estimation
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习高斯混合模型(Active Learning Gaussian Mixture Model)结合了迭代式查询策略和高斯混合模型学习器。该算法选择信息量最大的未标记点——通常是预测不确定性最高者——将其呈现给一个预言机(oracle)进行标记,然后使用EM算法在不断增长的标记数据集上重新拟合GMM。其结果是一个密度模型,能够达到全数据质量,同时所需的标记样本数量大大减少。
方法背后的直觉
标记数据成本高昂。在所有数据上训练的普通GMM效果很好,但需要大量标记样本。主动学习通过提问来解决这个问题:现在标记哪个未标记点能最大程度地减少我对混合模型组件的不确定性?靠近组件决策边界或在稀疏采样区域的点信息量最大。通过仅查询这些高价值点并在每次获得新标签后重新拟合GMM,该模型可以用一小部分标记预算达到良好的性能。这使其在医学成像或稀有事件检测等专家标注成本高昂的任务中具有吸引力。
历史学
高斯混合模型通过期望最大化(EM)算法,由Dempster、Laird和Rubin于1977年正式提出。主动学习作为一个系统框架,由Settles在21世纪初阐述,并在2012年广为引用的综合讲座中达到顶峰。主动查询与GMM的结合出现在21世纪初和2010年代的机器学习文献中,其动机是标注预算有限的密度估计和半监督聚类应用。
何时使用
当您拥有大量未标记的连续数据,但标记成本高昂或速度缓慢,并且您想要一个概率密度或聚类模型时,请使用主动学习GMM。它适用于具有软聚类成员资格、重叠类别以及需要不确定性量化(如异常检测、医学诊断或科学分类)的任务。当标签已经丰富且廉价时,当组件数量K高度不确定且无法外部验证时,当数据是高维的且未进行降维(GMM协方差估计会退化)时,或者当您的主要需求是判别而不是密度估计时,请勿使用它。
局限与注意事项
- 选择组件数量K需要领域知识或模型选择标准,如BIC/AIC。
- 在没有进行降维的情况下,GMM协方差估计在高维特征空间中会退化。
- 如果初始标记种子太小,不足以引导一个有意义的模型,那么主动学习的收益就会减小。
- 顺序查询会产生一个反馈循环,如果初始模型严重错误指定,可能会导致标记池产生偏差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过仅针对最不确定的样本,显著降低了标记成本。
- 提供软概率聚类分配和完整的密度模型,而不仅仅是硬标签。
- 来自GMM后验的不确定性估计直接用作查询标准,保持了流程的连贯性。
- EM热启动使得即使对于中等规模的数据集,每轮的再训练也很快。
- 适用于中等维度的连续数据,并能自然处理重叠的组。
应用
- 医学图像分割,其中专家对组织区域的标注成本高昂。
- 使用不确定性引导的标记,对传感器流中的稀有事件进行检测。
- 科学数据聚类(例如,星系形态、蛋白质家族),具有有限的真实标签。
- 在工业质量控制中,通过迭代专家反馈进行异常评分。
- 语音和音频建模,其中音素级别的标注非常耗时。
使用方式
使用方式
首先,使用选定的组件数量K,将初始GMM拟合到可用的标记数据,或从一小组随机种子集进行初始化。EM算法产生混合权重、组件均值和协方差矩阵,这些定义了初始密度估计。
对于每个未标记点,算法都会计算一个信息量得分——通常是K个组件上的预测熵H(y|x,θ),或者是在两个最可能的组件后验概率之间的差值。得分最高Thus point被选为下一个查询。
公式
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)选定的点被呈现给人类专家或提供聚类或类别标签的自动化预言机。该标签被添加到标记池中,并将该点从未标记池中移除。
使用EM算法在更新后的标记池上重新训练GMM。由于每轮只添加一个或一小批点,从先前参数进行热启动(warm-starting)可以保持再训练的效率。
查询持续进行,直到标注预算耗尽、不确定性得分降至阈值以下,或者模型的保留性能停止改进。最终的GMM随后用于密度估计、聚类或分类。
常见陷阱
- 将主动选择的标记集视为独立同分布(i.i.d.)样本进行标准推断——它是一个有偏样本,这是设计使然。
- 在未检查BIC或交叉验证对数似然的情况下过早固定K,会导致组件错误指定。
- 每轮查询的批量过大,这会抵消主动选择的自适应优势。
- 在小型标记池中忽略协方差正则化(例如,添加一个小的对角线项),会导致退化的EM更新。
- 仅在标记池上评估,而不是在保留的未标记集上评估,这会夸大表面性能。
常见问题
如何选择高斯组件的数量K?
在可用的标记数据上,使用不同的K拟合GMM,并比较BIC或AIC得分。当标记数据稀缺时,在保留的未标记子集上进行交叉验证的对数似然更可靠。关于预期的聚类或类别数量的领域知识是最可靠的指导。
每轮可以查询一个以上的点吗?
可以——批量模式主动学习每轮选择B个最不确定的点。较大的批量允许并行标注,但会降低单查询更新的自适应优势。实践中,批量大小为5-20是常见的。
如果我的未标记数据是高维的怎么办?
在拟合GMM之前,应用PCA或自编码器进行降维。GMM中的协方差估计随着特征数量相对于标记观测数量的增长而迅速退化,并且全协方差矩阵会变得接近奇异。
这与半监督GMM有何不同?
半监督GMM在每个EM步骤中同时使用标记和未标记数据,利用未标记数据的密度结构。主动学习GMM则侧重于选择下一个要标记的未标记点,并且通常只将它们保留在标记池中。这两种方法可以结合使用:使用半监督EM进行拟合,并使用主动查询来决定标记什么。
GMM的主动学习是否适用于异常检测?
是的,但要小心。在大部分正常数据上训练的初始GMM可以将低似然点标记为异常。通过主动查询这些点,可以让预言机确认或拒绝异常,从而逐步完善正常和异常密度区域之间的边界。
相关方法
参考文献
Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.
打开出版物文献已复制。Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.
打开 DOI 文献已复制。