半监督高斯过程
- 提出者
- Lawrence, N. D. & Jordan, M. I.
- 年份
- 2004
- 类型
- Probabilistic model (semi-supervised)
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督高斯过程将概率GP框架扩展到利用无标签数据和少量有标签观测数据。通过在函数上放置GP先验并利用无标签输入揭示的几何结构,当标签稀缺时,它能学习到比纯监督GP更准确、校准更好的预测器,因此非常适合标注成本高昂的科学和医学问题。
方法背后的直觉
标准高斯过程定义了光滑函数上的分布,并以有标签训练点为条件进行预测。当标签稀少时,这种条件后验在数据稀疏区域高度不确定。半监督GP通过利用无标签输入揭示输入空间的潜在流形或密度结构来解决这个问题。核函数(编码相似性)可以由大量无标签点塑造,因此模型在看到任何标签之前就知道数据在哪里。这大大降低了后验不确定性,并提高了从少量有标签样本中泛化的能力。
历史学
半监督GP框架由Lawrence和Jordan在2004年的NeurIPS会议上正式提出,其基础是Rasmussen和Williams在2006年出版的GP机器学习专著(早期手稿可追溯至1996年)。该方法结合了流形正则化、图拉普拉斯和贝叶斯非参数化的思想,并影响了后来的稀疏GP、深度核学习以及具有概率输出的图神经网络等工作。
何时使用
当有标签数据稀缺但无标签数据丰富时,当您需要与预测一起进行校准的不确定性估计时,并且输入空间具有无标签点可以揭示的光滑几何结构时,请使用半监督高斯过程。它在标注成本高昂的生物、医学和物理科学领域表现出色。当数据集很大(数千个有标签点)时应避免使用,因为GP推理的计算复杂度随有标签点数量呈O(n^3)增长,变得难以承受。如果没有仔细的核工程,当输入维度非常高(高于约50个特征)时也应避免,或者当可解释的系数而不是概率预测是主要目标时也应避免。
局限与注意事项
- 在有标签点的数量上呈三次方的计算复杂度O(n^3)使其在没有稀疏近似的情况下,对于数千个观测值以上变得不切实际。
- 对于非高斯似然(如分类)需要近似推理(拉普拉斯、期望传播),引入了近似误差。
- 性能很大程度上取决于核函数的选择以及无标签点忠实地表示输入流形的假设。
- 计算密集型的超参数优化可能很慢,并且在高维空间中可能收敛到较差的局部最优。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 生成完整的预测分布,为每次预测提供校准的不确定性。
- 当标签稀少时,无标签数据可以显著提高准确性,从而使标注预算更具效益。
- 核函数的灵活性允许编码关于光滑度、周期性或输入几何的领域知识。
- 原则性的贝叶斯框架支持通过边缘似然最大化进行超参数选择。
- 通过多输出GP扩展自然处理多输出和结构化预测任务。
应用
- 从分子描述符预测药物活性,使用少量经过化验标记的化合物。
- 医学影像分类,其中专家标注有限但原始扫描图像丰富。
- 使用稀疏校准读数和密集未校准测量值进行环境传感器建模。
- 基因表达分类,具有有限的表型标签但大量的转录组数据集。
- 材料性质预测(化学和物理领域),其中有标签的实验测量成本高昂。
使用方式
使用方式
核函数k(x_i, x_j)编码了关于目标函数光滑度和尺度的先验信念。对于半监督设置,基于图或流形适应的核函数是从所有可用输入(包括有标签和无标签)构建的,以便相似性度量反映真实数据几何结构,而不是原始欧氏距离。
公式
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)在潜在函数上放置一个零均值GP先验f ~ GP(0, k)。由于核函数是从全部无标签数据池中估计的,因此该先验在合并任何标签之前就已经编码了输入流形的几何结构。
公式
f \sim \mathcal{GP}(0, k)无标签点通过以下两种方式之一整合到模型中:1) 在所有输入上构建基于图拉普拉斯正则化器;2) 将无标签位置的潜在函数值视为辅助变量,在推理过程中被边缘化掉。这两种方法都允许大量的无标签数据池约束和稳定后验。
以有标签观测为条件将GP先验更新为函数上的后验。在分类设置中,这涉及到近似推理(拉普拉斯近似或期望传播),因为高斯似然被非高斯观测模型取代。
公式
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
对于任何新输入x*,后验预测分布通过解析方法(回归)或近似方法(分类)计算。输出是一个完整的预测分布——均值和方差——不仅提供点估计,还提供校准的不确定性,这在标签稀少且至关重要的科学领域是必不可少的。
公式
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]常见陷阱
- 忽略O(n^3)的成本,并尝试在没有稀疏诱导点近似的情况下,对数千个点拟合密集GP。
- 使用标准的欧氏距离核函数而不对其进行数据流形适应,这浪费了无标签数据池。
- 将后验均值视为硬预测,并丢弃不确定性估计,这是相对于判别式方法的主要优势。
- 未能在一个独立的有标签集上进行验证,因为无标签数据可能会引入细微的分布偏移,如果与测试域不匹配的话。
- 当有标签与无标签的比例已经很高时应用该方法,此时额外的复杂性相对于监督GP带来的收益可以忽略不计。
常见问题
这与标准的监督高斯过程有何不同?
监督GP仅以有标签数据为条件,忽略无标签输入。半监督变体在以标签为条件之前,利用无标签输入来塑造核函数或约束函数先验,因此它利用了数据流形,并在标签稀缺时实现了更低的泛化误差。
主要的计算瓶颈是什么?
GP推理的计算复杂度与训练点数量呈立方关系。稀疏诱导点方法(例如,FITC、VFE)将其降低到O(nm^2),其中m是诱导点的数量(通常为50-500),这使得大规模半监督GP成为可能。
如何为整合无标签数据选择核函数?
一种常见的方法是计算所有输入上的图拉普拉斯核或热扩散核。或者,当数据是低维且平滑分布时,在全部(有标签+无标签)输入分布上调整长度尺度的标准RBF核也能很好地工作。
整合无标签数据后,校准的不确定性是否得以保留?
原则上是的——贝叶斯框架产生校准的后验——但为分类(拉普拉斯、期望传播)和稀疏方法(诱导点)引入的近似可能会降低校准度。在有标签验证集上评估期望校准误差(ECE)是一个好习惯。
何时应该选择半监督SVM而不是此方法?
当您需要简单的基于边界的决策边界、具有高维稀疏特征(例如文本)且不需要不确定性估计时,请选择半监督SVM(S3VM/转导SVM)。当概率输出和核函数灵活性很重要时,选择半监督GP。
相关方法
参考文献
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
打开出版物文献已复制。Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9已复制。