Skip to content
返回搜索结果

高斯过程

提出者
Rasmussen, C. E. & Williams, C. K. I.
年份
2006 (book); roots in Kriging, 1951)
类型
Probabilistic non-parametric model
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

高斯过程(GP)是一种非参数、全概率的机器学习模型,它直接在函数上放置先验分布。它不预测单个值,而是在每个测试点返回预测均值和校准的不确定性估计,这使其在小到中型数据集的回归和贝叶斯优化任务中特别有价值。

方法背后的直觉

高斯过程不是拟合一条固定的曲线到你的数据上,而是维护一个关于与你观察到的数据一致的可能曲线的整个分布。在看到数据之前,它假设函数应该是平滑的(由核函数定义)。在看到数据之后,它会缩小这个分布:附近的测试点会得到精确、自信的预测,而遥远或数据稀疏的区域会产生宽泛的不确定性区间。这种内置的不确定性量化是 GP 与大多数其他模型区别开来的地方。

历史学

高斯过程的根源可以追溯到 1950 年代 Danie Krige 在地球统计学中开发的克里金法,并由 Georges Matheron 正式化。它们在机器学习中的应用很大程度上是由 Carl Rasmussen 和 Christopher Williams 推动的,他们 2006 年的 MIT 出版社书籍成为权威参考,将 GP 确立为神经网络和核 SVM 的原则性贝叶斯非参数替代方案,特别适用于需要不确定性量化的场景。

何时使用

高斯过程在小到中型数据集(最多几千行)上表现出色,在这些数据上不确定性量化很重要——例如,科学实验、工程设计或昂贵模拟的代理建模。它们是贝叶斯优选的方法。当你需要校准的预测区间而不是仅仅点估计时,并且当输入和输出之间的关系预计是平滑的时,选择 GP 而不是更简单的模型。当 n 超过大约 10,000 个观测值时,应避免使用 GP,因为精确推理的计算成本随 O(n^3) 增长,在没有近似的情况下是不可行的。GP 在非常高维的输入空间以及不连续或高度非平稳函数上也存在困难,除非使用精心定制的核函数。

局限与注意事项

  • 精确推理在时间和内存上的复杂度分别为 O(n^3) 和 O(n^2),这使得在没有稀疏或近似 GP 方法的情况下,对于大的 n 是不切实际的。
  • 由于核距离的维度灾难,在高维输入空间中的性能会下降。
  • 选择和组合核需要领域知识;选择不当的核会导致不确定的校准不佳。
  • 分类(GP 分类器)需要额外的拉普拉斯或期望传播近似,增加了复杂性。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在点预测的同时返回校准的预测不确定性区间。
  • 样本效率极高——在基于树的模型过拟合的小型数据集上表现良好。
  • 核选择灵活地编码了关于平滑度、周期性或尺度的领域知识。
  • 超参数通过边际似然从数据中学习,提供自动正则化。
  • 贝叶斯优化和主动学习实验设计的原生框架。

应用

  • 需要校准置信区间的用于小到中型科学和工程数据集的回归。
  • 昂贵的黑盒函数的贝叶斯优化,例如超参数调优或实验设计。
  • 航空航天、材料科学和气候建模中昂贵的计算机模拟的代理建模。
  • 时空插值和地球统计制图(克里金法)。
  • 主动学习:利用后验方差选择信息量最大的下一个测量。
  • 具有编码季节性结构的周期性或复合核的时间序列建模。

使用方式

使用方式

1

核函数(通常是平方指数/RBF)编码了关于函数平滑度和长度尺度的先验信念。它衡量了任意两个输入点之间的相似性:相似的输入应该产生相似的输出。核函数的选择强烈决定了 GP 可以表示的函数类型。

公式
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

在观察到任何数据之前,GP 在函数上定义了一个先验分布:所有有限的函数值集合都与均值函数 m(x) 和由核函数给出的协方差联合高斯分布。这个先验是我们关于未知函数行为的初始信念。

公式
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

将先验条件化于观察到的训练数据会产生后验分布,后验分布也是高斯分布。后验均值成为任何新输入 x* 的点预测,后验方差提供了校准的置信区间,在训练数据密集的地方会自动变窄。

公式
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

核超参数(长度尺度、输出方差、噪声水平)通过最大化训练数据的对数边际似然来估计。这种优化平衡了数据拟合与模型复杂度,执行自动正则化而无需单独的惩罚项。

公式
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

在预测时,后验均值作为点估计返回,后验标准差作为不确定性区间返回。两者都可以直接使用:报告均值作为最佳猜测,报告区间以传达模型在新输入位置的置信度。

常见陷阱

  • 使用默认的 RBF 核而不检查函数是否真正平稳和光滑——周期性或不连续的模式需要不同的核。
  • 在拟合前忘记标准化连续输入和输出,这会导致协方差矩阵病态。
  • 将后验均值单独作为可交付成果,而忽略不确定性区间,而这些区间是模型的主要贡献。
  • 将精确 GP 应用于 n 大于约 5,000 的数据集,而没有切换到稀疏或诱导点近似。
  • 解释方差输出时,混淆了随机噪声(不可约测量误差)和认知不确定性(模型不确定性)。

常见问题

应该从哪个核开始?

平方指数(RBF)核是默认的起点,因为它产生无限可微的平滑函数,并具有可解释的长度尺度和输出方差超参数。如果你期望函数不太平滑,则切换到 Matern 核,或者为季节性数据添加周期性分量。

我的数据集有 50,000 行。我还能使用 GP 吗?

在该规模下,精确 GP 推理将是不可行的。考虑稀疏 GP 方法(例如,诱导点/FITC)或随机变分 GP,它们都将训练成本降低到大约 O(nm^2),其中 m 是诱导点的数量(m << n)。像 GPyTorch 这样的库高效地实现了这些。

GP 与贝叶斯线性回归有何不同?

贝叶斯线性回归在固定的有限系数集上放置先验;因此,模型的灵活性受限于所选的基函数。GP 直接在无限维空间中的函数上放置先验,因此其有效复杂度会适应数据,而无需你预先指定基函数展开。

不确定性估计是否真正校准?

在正确模型和核函数下,GP 后验不确定性在构造上是良好校准的。在实践中,校准不佳源于核函数错误指定或忽略噪声结构。务必执行后验预测检查——绘制观测值与预测值,并包含可信区间。

高斯过程能处理分类或混合类型输入吗?

标准的 GP 核在连续输入上运行。分类输入需要特殊的核(例如,汉明距离核)或编码。对于主要是分类或非常高维的混合数据,像随机森林或梯度提升这样的基于树的模型通常是更好的起点。

相关方法

参考文献

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN:978-0-262-18253-9
    已复制。
  2. Gaussian process. Wikipedia.

    打开出版物文献
    已复制。