贝叶斯优化 — 顺序模型驱动的超参数调优
- 提出者
- Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
- 年份
- 1975 (foundational); 2012 (ML standard)
- 类型
- Sequential model-based black-box optimization
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
贝叶斯优化是一种顺序的、基于模型的策略,旨在以尽可能少的评估次数找到昂贵的黑箱函数的最优值。它源于 Mockus (1975) 的工作,并由 Snoek, Larochelle 和 Adams (2012) 推广到主流的机器学习实践中。该方法将概率代理模型(通常是高斯过程)拟合到过去的观测数据上,并使用一个采集函数来决定下一步探测何处,从而在探索未知区域与利用有希望的区域之间取得平衡。
方法背后的直觉
想象一下,您需要找到一个机器学习模型的最佳设置,但每次试验都需要数小时才能运行。您无法承担测试所有组合的成本。贝叶斯优化就像一位谨慎的科学家:它建立一个关于已尝试内容及其结果的动态地图,利用该地图猜测最优值可能在哪里,然后选择最有可能改进迄今为止最佳结果的下一次实验。随着更多实验的完成,地图变得越来越准确,选择也越来越明智——这一切都无需了解黑箱内部的数学公式。
历史学
贝叶斯优化的理论基础由 Jonas Mockus 及其同事在 20 世纪 70 年代奠定,其核心概念是用于顺序实验设计的期望改进。该方法在很大程度上仍停留在学术界,直到 2012 年,Snoek, Larochelle 和 Adams 在 NeurIPS 上发表了“Practical Bayesian Optimization of Machine Learning Algorithms”,证明了基于 GP 的贝叶斯优化在标准 ML 基准测试中始终优于专家手动调优和随机搜索。这项工作促进了专用库的开发,并将贝叶斯优化确立为深度学习和 AutoML 管道中超参数搜索的实际标准。Peter Frazier 在 2018 年的教程(arXiv:1807.02811)后来提供了统一的教学处理,将该方法的应用范围扩展到了机器学习社区之外。
何时使用
当目标函数评估成本高昂或耗时——例如训练大型模型、运行物理模拟或进行实验室实验——且预算仅限于几十到几百次评估时,贝叶斯优化是正确的选择。搜索空间必须为每个参数明确定义边界。该方法自然地处理连续和有序参数;纯粹的分类参数或非常高维的空间(大约超过 20 个参数)可能会降低代理模型的质量,并可能需要扩展,例如使用随机森林作为代理模型或进行降维预处理。如果评估成本低廉且有并行性可用,则简单的随机搜索或网格搜索可能具有竞争力。
局限与注意事项
- 对非常高维的超参数空间扩展性差:高斯过程拟合在计算上变得昂贵,并且代理模型在约 10-20 维以上会失去准确性。
- 对代理模型核函数和采集函数的选择敏感:不好的默认值会阻碍收敛,尤其是在非平稳或多峰目标上。
- 默认是顺序的:每次评估必须在选择下一个候选点之前完成,除非使用批处理模式或异步扩展,否则会限制并行性。
- 需要有界的搜索空间:没有明确范围的参数无法直接处理。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 样本效率高:比网格搜索或随机搜索需要更少的评估次数就能找到好的配置,这在每次评估缓慢或昂贵时很重要。
- 原则性的探索-利用平衡:采集函数提供了一个正式的、可解释的标准来决定下一步搜索何处。
- 基于模型的که不确定性:高斯过程不仅预测性能,还量化其自身的置信度,从而能够做出明智的停止决策。
- 适用于任何黑箱目标:该方法不需要梯度信息,也不需要了解目标内部的数学知识。
应用
- 在每次训练运行计算成本高昂的机器学习和深度学习模型的超参数调优。
- 神经架构搜索 (NAS):选择层宽度、激活函数和跳跃连接等架构选择。
- 工程和自然科学中的实验设计,其中每次物理实验成本高昂或耗时。
- 自动机器学习 (AutoML) 管道,用于联合选择算法及其超参数。
- 药物发现和材料科学,其中评估候选配置需要实验室工作。
使用方式
使用方式
实践者定义搜索空间:要调整的每个超参数都被赋予一个类型(连续、有序)和一个范围——下界和上界——优化器可以在此范围内进行搜索。清晰的空间定义是所有其他工作的前提,并防止代理模型被要求推断到安全区域之外。
在搜索空间中随机或通过空间填充设计(例如,拉丁超立方采样)评估少量点。这些初始观测值——通常是五到十个——为代理模型提供了足够的数据,以便在顺序循环开始之前形成目标景观的第一个粗略地图。
迄今为止收集的所有观测值都用于拟合概率代理模型,最常见的是高斯过程。高斯过程在空间中的每个点都返回一个均值预测和一个不确定性估计,同时捕捉已知信息和模型的置信度。代理模型评估成本低廉,因此可以替代昂贵的真实目标进行数千次查询。
采集函数——例如期望改进(EI)或置信上限(UCB)——在代理模型上最大化,以选择下一个候选点。EI 量化了相对于当前最佳的预期增益;UCB 添加了一个置信度加权的探索奖励。这一步是解决探索-利用权衡的地方:具有高预测性能的区域和具有高不确定性的区域都会吸引注意力。
由采集函数选择的候选点被传递给真实目标——例如,使用这些超参数训练和验证神经网络。此评估是昂贵的一步。其结果(分数)与候选点的坐标一起被记录下来。
新的观测值被添加到数据集中,代理模型被重新拟合,然后循环返回到采集步骤。当迭代预算耗尽后,产生最佳观测得分的超参数配置被作为最终推荐返回。
常见陷阱
- 初始随机探测次数太少会导致代理模型校准不充分;应至少使用五个初始点,在高维空间中则应更多。
- 总迭代次数非常少(少于约十次)意味着代理模型从未变得可靠;在这种情况下,简单的随机搜索是更好的选择。
- 忽略采集函数选择:EI 倾向于利用并可能卡在早期的好结果附近;UCB 通过可调的探索权重增加探索——没有一种是普遍最好的,应根据问题结构验证默认值。
- 将贝叶斯优化本身视为黑箱:始终检查收敛曲线(每次迭代的最佳观测得分)以尽早检测停滞。
- 在评估成本低廉时应用该方法——随机搜索或网格搜索的实现开销更低,且收敛效果同样好。
常见问题
贝叶斯优化与网格搜索或随机搜索有何不同?
网格搜索评估固定网格的配置,随机搜索则均匀随机采样——两者在选择下一个点时都忽略了先前试验的结果。贝叶斯优化主动利用所有过去的观测值来构建代理模型,并选择最有可能改进当前最佳值的下一个点,从而在评估成本高昂时大大提高样本效率。
应该使用哪种采集函数?
期望改进 (EI) 是最广泛使用的默认选项:它衡量相对于当前最佳的预期增益,并且在各种问题类型中都表现可靠。置信上限 (UCB) 添加了一个可调的探索奖励,在对景观理解不足时通常更受青睐。改进概率 (PI) 更侧重于利用,可能过早收敛。从 EI 开始,如果优化器似乎停滞不前,则切换到 UCB。
需要多少次迭代?
没有普遍规则,但总评估次数少于约十次(包括初始随机探测)会导致代理模型数据不足而不可靠。实际部署通常使用五到十个初始随机点,然后进行二十到五十次顺序贝叶斯步骤。当最佳观测得分在连续几次迭代中停止改进时,可以停止预算。
贝叶斯优化可以并行化吗?
标准的贝叶斯优化本质上是顺序的。批处理模式扩展允许同时提出一组候选点——常见的策略包括局部惩罚和 Kriging Believer 启发式方法——从而实现并行评估。异步变体在工作程序空闲时启动新候选点,而不是等待整个批次。这些扩展在 Optuna 和 BoTorch 等库中可用。