高斯过程
- 提出者
- Rasmussen, C. E. & Williams, C. K. I.
- 年份
- 2006 (book); roots in Kriging, 1951)
- 类型
- Probabilistic non-parametric model
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
高斯过程(GP)是一种非参数、全概率的机器学习模型,它直接在函数上放置先验分布。它不预测单个值,而是在每个测试点返回预测均值和校准的不确定性估计,这使其在小到中型数据集的回归和贝叶斯优化任务中特别有价值。
方法背后的直觉
高斯过程不是拟合一条固定的曲线到你的数据上,而是维护一个关于与你观察到的数据一致的可能曲线的整个分布。在看到数据之前,它假设函数应该是平滑的(由核函数定义)。在看到数据之后,它会缩小这个分布:附近的测试点会得到精确、自信的预测,而遥远或数据稀疏的区域会产生宽泛的不确定性区间。这种内置的不确定性量化是 GP 与大多数其他模型区别开来的地方。
历史学
高斯过程的根源可以追溯到 1950 年代 Danie Krige 在地球统计学中开发的克里金法,并由 Georges Matheron 正式化。它们在机器学习中的应用很大程度上是由 Carl Rasmussen 和 Christopher Williams 推动的,他们 2006 年的 MIT 出版社书籍成为权威参考,将 GP 确立为神经网络和核 SVM 的原则性贝叶斯非参数替代方案,特别适用于需要不确定性量化的场景。
何时使用
高斯过程在小到中型数据集(最多几千行)上表现出色,在这些数据上不确定性量化很重要——例如,科学实验、工程设计或昂贵模拟的代理建模。它们是贝叶斯优选的方法。当你需要校准的预测区间而不是仅仅点估计时,并且当输入和输出之间的关系预计是平滑的时,选择 GP 而不是更简单的模型。当 n 超过大约 10,000 个观测值时,应避免使用 GP,因为精确推理的计算成本随 O(n^3) 增长,在没有近似的情况下是不可行的。GP 在非常高维的输入空间以及不连续或高度非平稳函数上也存在困难,除非使用精心定制的核函数。
局限与注意事项
- 精确推理在时间和内存上的复杂度分别为 O(n^3) 和 O(n^2),这使得在没有稀疏或近似 GP 方法的情况下,对于大的 n 是不切实际的。
- 由于核距离的维度灾难,在高维输入空间中的性能会下降。
- 选择和组合核需要领域知识;选择不当的核会导致不确定的校准不佳。
- 分类(GP 分类器)需要额外的拉普拉斯或期望传播近似,增加了复杂性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在点预测的同时返回校准的预测不确定性区间。
- 样本效率极高——在基于树的模型过拟合的小型数据集上表现良好。
- 核选择灵活地编码了关于平滑度、周期性或尺度的领域知识。
- 超参数通过边际似然从数据中学习,提供自动正则化。
- 贝叶斯优化和主动学习实验设计的原生框架。
应用
- 需要校准置信区间的用于小到中型科学和工程数据集的回归。
- 昂贵的黑盒函数的贝叶斯优化,例如超参数调优或实验设计。
- 航空航天、材料科学和气候建模中昂贵的计算机模拟的代理建模。
- 时空插值和地球统计制图(克里金法)。
- 主动学习:利用后验方差选择信息量最大的下一个测量。
- 具有编码季节性结构的周期性或复合核的时间序列建模。
使用方式
使用方式
核函数(通常是平方指数/RBF)编码了关于函数平滑度和长度尺度的先验信念。它衡量了任意两个输入点之间的相似性:相似的输入应该产生相似的输出。核函数的选择强烈决定了 GP 可以表示的函数类型。
公式
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)在观察到任何数据之前,GP 在函数上定义了一个先验分布:所有有限的函数值集合都与均值函数 m(x) 和由核函数给出的协方差联合高斯分布。这个先验是我们关于未知函数行为的初始信念。
公式
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))将先验条件化于观察到的训练数据会产生后验分布,后验分布也是高斯分布。后验均值成为任何新输入 x* 的点预测,后验方差提供了校准的置信区间,在训练数据密集的地方会自动变窄。
公式
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)核超参数(长度尺度、输出方差、噪声水平)通过最大化训练数据的对数边际似然来估计。这种优化平衡了数据拟合与模型复杂度,执行自动正则化而无需单独的惩罚项。
公式
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})在预测时,后验均值作为点估计返回,后验标准差作为不确定性区间返回。两者都可以直接使用:报告均值作为最佳猜测,报告区间以传达模型在新输入位置的置信度。
常见陷阱
- 使用默认的 RBF 核而不检查函数是否真正平稳和光滑——周期性或不连续的模式需要不同的核。
- 在拟合前忘记标准化连续输入和输出,这会导致协方差矩阵病态。
- 将后验均值单独作为可交付成果,而忽略不确定性区间,而这些区间是模型的主要贡献。
- 将精确 GP 应用于 n 大于约 5,000 的数据集,而没有切换到稀疏或诱导点近似。
- 解释方差输出时,混淆了随机噪声(不可约测量误差)和认知不确定性(模型不确定性)。
常见问题
应该从哪个核开始?
平方指数(RBF)核是默认的起点,因为它产生无限可微的平滑函数,并具有可解释的长度尺度和输出方差超参数。如果你期望函数不太平滑,则切换到 Matern 核,或者为季节性数据添加周期性分量。
我的数据集有 50,000 行。我还能使用 GP 吗?
在该规模下,精确 GP 推理将是不可行的。考虑稀疏 GP 方法(例如,诱导点/FITC)或随机变分 GP,它们都将训练成本降低到大约 O(nm^2),其中 m 是诱导点的数量(m << n)。像 GPyTorch 这样的库高效地实现了这些。
GP 与贝叶斯线性回归有何不同?
贝叶斯线性回归在固定的有限系数集上放置先验;因此,模型的灵活性受限于所选的基函数。GP 直接在无限维空间中的函数上放置先验,因此其有效复杂度会适应数据,而无需你预先指定基函数展开。
不确定性估计是否真正校准?
在正确模型和核函数下,GP 后验不确定性在构造上是良好校准的。在实践中,校准不佳源于核函数错误指定或忽略噪声结构。务必执行后验预测检查——绘制观测值与预测值,并包含可信区间。
高斯过程能处理分类或混合类型输入吗?
标准的 GP 核在连续输入上运行。分类输入需要特殊的核(例如,汉明距离核)或编码。对于主要是分类或非常高维的混合数据,像随机森林或梯度提升这样的基于树的模型通常是更好的起点。
相关方法
参考文献
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9已复制。Gaussian process. Wikipedia.
打开出版物文献已复制。