贝叶斯高斯过程
- 提出者
- O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
- 年份
- 1978–2006
- 类型
- Probabilistic kernel model
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
贝叶斯高斯过程(GP)直接在函数上放置概率分布,并使用核函数来编码输入之间的相似性。在观测到数据后,贝叶斯规则将此先验转换为后验,该后验不仅能提供点预测,还能在每个新输入处提供校准的不确定性估计——使其成为机器学习中最具原则性的概率模型之一。
方法背后的直觉
想象一下,通过你的数据绘制出无数条合理的曲线,每条曲线都与你已知的信息一致。GP量化了每条曲线在看到观测值之前和之后的可能性。核函数决定了哪些曲线看起来是平滑的或抖动的,是近距离的还是远距离的。一旦数据到达,GP会在观测值周围缩小合理曲线的范围,同时在数据稀疏的区域保留真实的不确定性。这既提供了预测,也提供了真正反映证据支持预测程度的置信区间。
历史学
高斯过程在统计学中的使用可以追溯到 O'Hagan (1978) 和地统计学中的克里金法(Kriging)(Matheron, 1963)。它们在机器学习中的应用是由 Neal (1996) 推动的,他证明了深度网络在无限宽度极限下收敛到GP,以及 Rasmussen 和 Williams 的 2006 年著作,该书成为标准参考。如今,GP是超参数调优和工程科学实验设计中贝叶斯优化流程的基础。
何时使用
当需要校准的不确定性与预测一起使用时,请使用贝叶斯GP——例如在主动学习、贝叶斯优化、安全关键应用或科学推理中,模型不知道什么与预测本身同等重要。它在小型到中型数据集(最多几千个观测值)上表现出色,适用于连续或结构化输入和光滑的底层函数。当数据集超过大约10,000行且没有稀疏或近似GP方法时,当输入空间是高维(高于约20个特征)且没有强大的先验结构时,或者当只需要一个快速、不透明的点预测器时,应避免使用GP。
局限与注意事项
- 精确推理的立方计算成本 O(n^3) 限制了其在没有稀疏近似的情况下用于几千个观测值的数据集。
- 核函数选择具有影响力,需要领域专业知识;错误的核函数选择会同时损害预测和不确定性估计。
- 对于非高斯似然(分类、计数),闭式推理失效,需要近似方法,这会增加复杂性。
- 在没有降维或结构化核函数的情况下,对高维输入空间扩展性差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 产生完全校准的预测分布,而不仅仅是点估计。
- 回归问题的闭式后验——精确,中等数据量无需采样。
- 核函数选择编码了关于平滑度、周期性、结构丰富的领域知识。
- 对数边际似然提供了自动超参数学习和模型比较。
- 通过量化不确定性最高的地方,自然支持主动学习和贝叶斯优化。
- 样本效率高:在深度学习无法泛化的少量数据集上表现良好。
应用
- 用于超参数调优、实验设计和自动机器学习的贝叶斯优化。
- 工程模拟和计算机实验中的代理建模。
- 空间插值和地统计学(克里金法)。
- 具有原则性不确定性量化的时间序列预测。
- 主动学习:基于后验方差选择信息量最大的下一个观测值。
- 需要不确定性传播与预测一起进行的科学推理。
使用方式
使用方式
GP先验由均值函数 m(x)(通常设为零)和协方差(核)函数 k(x,x') 定义,该函数编码了两个输入处输出的协方差方式。它们共同指定了一个所有函数的分布,模型在看到任何数据之前都会从中采样候选解。
公式
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))核函数是核心的建模选择。常见的核函数包括平方指数(RBF)、马特恩(Matern)、周期性(periodic)和线性(linear)核函数,每种都编码了关于平滑度、周期性或趋势的不同假设。领域知识用于选择或组合能够匹配目标函数预期行为的核函数。
给定训练观测值 (X, y),对于回归问题,贝叶斯规则以闭式形式应用以获得后验GP。后验均值在任何新输入 x* 处提供点预测,而后验方差量化了剩余的不确定性——在观测值附近收缩,在未探索的区域扩大。
公式
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})核超参数(长度尺度、输出方差、噪声水平)通过最大化对数边际似然来学习,该似然自动平衡数据拟合与模型复杂度。这种内置的奥卡姆剃刀在许多情况下避免了超参数选择的独立交叉验证。
公式
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})在回归问题中,新点处的最终预测分布是高斯分布,返回均值和方差。对于分类问题,需要一个额外的近似步骤(拉普拉斯近似、期望传播或变分推断)将潜在GP转换为类别概率。
常见陷阱
- 使用默认的RBF核函数,而不考虑数据是否实际上是光滑和固定的。
- 忽略后验预测方差,仅报告均值,放弃了模型的主要优势。
- 将精确GP推理应用于大型数据集(n > 10,000),而没有稀疏或诱导点近似,导致内存和速度故障。
- 混淆GP超参数优化(边际似然)与关于超参数的完全贝叶斯推理——后者需要MCMC且在实践中很少进行。
- 将分类GP输出视为潜在后验是精确的,而没有考虑到非高斯似然中的近似误差。
常见问题
高斯过程本身是贝叶斯式的吗?
是的。GP在函数上定义了一个先验,通过贝叶斯规则对数据进行条件化得到后验。预测分布是对所有合理函数根据其后验概率加权的边际化,这是贝叶斯推理的定义属性。
如何选择核函数?
首先考虑函数是否预期是光滑的(RBF/平方指数)、周期性的(周期性核)或分段不规则的(马特恩3/2或5/2)。核函数可以通过加法或乘法组合来捕捉复合结构。使用对数边际似然来验证选择。
我可以在数千个数据点上使用GP吗?
精确GP推理的成本为 O(n^3),在现代硬件上对于几千个数据点是可行的。对于更大的数据集,可以使用稀疏GP近似(如FITC或VFE的诱导点方法)或随机变分GP,它们可以扩展到数百万个观测值。
GP回归和GP分类有什么区别?
GP回归使用高斯似然,因此后验也是高斯分布,并且可以闭式计算。GP分类使用伯努利(或softmax)似然,这是非高斯分布,因此后验必须近似——通常使用拉普拉斯近似或期望传播。
GP与神经网络相比如何?
GP更适合小数据,开箱即用地提供校准的不确定性,并且可以通过核函数进行解释。神经网络在大规模、高维数据上占主导地位。具有特定激活函数的无限宽度神经网络在数学上等同于GP,揭示了两者之间深刻的理论联系。
相关方法
参考文献
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9已复制。Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.
ISBN:978-0-387-31073-2已复制。