Skip to content
返回搜索结果

基于代理的模型优化 — 元模型辅助设计

提出者
Sacks, Welch, Mitchell & Wynn (computer experiments framework, 1989); Kriging popularised by Matheron (1963)
年份
1989 (computer experiments formulation)
类型
Metamodel-assisted black-box optimization

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

基于代理的模型优化(Surrogate-based optimization),由 Sacks 等人(1989)在计算机实验框架下形式化,并由 Forrester 等人(2008)推广应用于工程领域,它用一个廉价的近似模型(称为代理模型或元模型)替代了成本高昂的仿真或物理实验,然后在此代理模型上进行优化。代理模型通常是克里金(高斯过程)、径向基函数或多项式响应面,它拟合于少量精心挑选的设计评估点,并随着搜索的进展而周期性地更新。

方法背后的直觉

试想一下,每次你想测试一种新的飞机机翼形状,都必须运行一次耗时 48 小时的完整计算流体动力学(CFD)仿真。运行数千次这样的评估来找到最佳形状是不可能的。基于代理的模型优化通过首先在分布良好的设计点上运行一小批仿真,拟合一个快速的数学替代模型(代理模型),该模型能在几秒钟内预测任何未测试设计的性能,然后优化这个替代模型,并策略性地选择最有希望的新设计进行实际仿真来绕过这个问题。代理模型随着每个新数据点的添加而变得更智能,最终昂贵的仿真器只在真正需要的地方被调用。

历史学

其统计基础由 Sacks、Welch、Mitchell 和 Wynn 在其 1989 年的里程碑式论文《计算机实验设计与分析》(Statistical Science)中奠定,该论文介绍了用于模拟确定性计算机代码的克里金框架。克里金本身可以追溯到 Georges Matheron 在 20 世纪 60 年代的地球统计学工作。Forrester、Sobester 和 Keane 在他们 2008 年的 Wiley 专著中将该方法系统化应用于工程设计优化,该专著确立了拉丁超立方采样、交叉验证和期望改进填充作为标准流程。此后,该领域已扩展到包括多保真度代理模型、贝叶斯优化(一种密切相关的概率公式)以及用于极高维问题的深度学习代理模型。

何时使用

当真实目标函数评估成本过高——通过 CFD、有限元分析、实验室实验或多物理场仿真——以至于只能负担几十到几百次评估时,基于代理的模型优化是正确的选择。该方法要求真实响应足够平滑,以便代理模型能够近似它;高度不连续或随机的函数可能需要专门的代理模型或方差缩减技术。设计空间应为连续的。空间填充的初始设计(拉丁超立方采样)和代理模型的强制交叉验证是不可或缺的前提条件。

局限与注意事项

  • 代理模型的准确性在高维空间中会下降(维度灾难);通常在约 20-50 个设计变量范围内实用,无需进行降维。
  • 如果真实函数高度不连续或多峰,代理模型可能会错误地表示它,并将优化器引导至错误的最佳点。
  • 必须仔细设置初始训练预算;过少的点会导致代理模型质量差,过多的点则违背了避免昂贵评估的目的。
  • 克里金拟合和采集函数的优化会增加计算开销,该开销随训练集大小的增加而增长。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 极大地减少了找到近优设计所需的昂贵真实评估次数。
  • 克里金代理模型提供不确定性估计,从而能够实现基于原则的填充策略,例如期望改进。
  • 适用于没有梯度信息的黑盒问题。
  • 可应用于工程、科学以及任何仿真成本占主导地位的领域。
  • 可重用的代理模型可以在不进行额外真实评估的情况下回答多个设计问题。

应用

  • 使用 CFD 仿真进行飞机机翼和涡轮叶片的气动外形优化。
  • 有限元分析中的结构优化,其中每次仿真需要数小时。
  • 汽车的耐撞性和 NVH(噪声、振动、声振粗糙度)设计,在严格的评估预算下进行。
  • 化学过程和反应器设计,其中物理实验成本高且耗时。
  • 机器学习中的超参数调优,当训练模型本身成本高昂时。
  • 药物制剂开发和临床试验设计。

使用方式

使用方式

1

使用空间填充实验设计(最常见的是拉丁超立方采样)在整个可行空间中放置初始设计点。目标是最大程度地分散,以便在任何区域的偏差最小的情况下训练代理模型。

2

每个初始设计点都被传递给真正昂贵的评估器:CFD求解器、有限元分析、物理原型测试或任何其他高保真函数。这一步是计算瓶颈;其输出构成了代理模型的训练数据集。

3

一个代理模型——克里金、径向基函数、多项式响应面或神经网络——被拟合到训练数据上。在工程设计中,克里金模型更受青睐,因为它不仅提供预测,还能在每个未访问点提供量化的不确定性估计。

4

通过交叉验证或比较代理模型在保留测试集上的预测值与真实评估值,来检查代理模型的拟合情况。R平方、RMSE 和最大绝对误差等指标表明代理模型是否足够好地代表真实函数以指导优化。如果验证失败,则会添加额外的训练点。

5

一个廉价的优化器——基于梯度或进化算法——在拟合好的代理模型上搜索最优解。由于评估代理模型几乎不花费成本,因此可以在几秒钟内评估数千个候选解。

6

被预测为最优(或根据期望改进准则最有信息量)的设计被传回昂贵的评估器。其真实响应被添加到训练集中,并重新拟合代理模型。这个循环一直持续到满足停止标准——预算、收敛或精度目标。

常见陷阱

  • 跳过代理模型的交叉验证是最常见的错误——拟合不佳的代理模型会系统性地误导优化器。
  • 使用均匀随机初始设计而不是空间填充的拉丁超立方采样,会导致设计空间的部分区域覆盖不足,产生代理模型的盲点。
  • 将该方法应用于具有随机响应(噪声仿真或物理实验)的问题,而不考虑代理模型中的噪声,会导致过度拟合噪声而非真实趋势。
  • 过早停止更新循环——在代理模型收敛之前——可能意味着报告的最优解是代理模型的伪影,而不是真正的设计改进。

常见问题

我应该选择哪种代理模型——克里金、RBF 还是多项式?

克里金(高斯过程)是工程设计的默认选择,因为它同时提供预测和点状不确定性估计,从而能够实现期望改进等基于原则的填充策略。径向基函数计算量较小,并且在一定程度上具有更好的可扩展性。多项式响应面简单且易于解释,但难以处理非线性或多峰响应。除非维度或训练集大小使其不切实际,否则应从克里金开始。

我需要多少初始设计点?

一个常见的经验法则是设计变量数量的 10 倍作为初始拉丁超立方采样,但这取决于响应的平滑度。在优化进行之前,应通过验证指标(交叉验证 R平方、RMSE)确认代理模型足够充分。额外的点通过填充循环添加,而不是一次性添加。

基于代理的模型优化与贝叶斯优化是相同的吗?

它们密切相关但并不相同。贝叶斯优化是基于代理的模型优化的一种特定形式,它使用高斯过程代理模型和概率采集函数(如期望改进)来选择填充点。更广泛的基于代理的模型优化框架包括非概率代理模型(RBF、多项式)和其他填充标准,因此贝叶斯优化是其子集。

如果我的仿真不是确定性的,而是有噪声的怎么办?

标准的克里金模型假设响应是确定性的。对于随机仿真器,必须在克里金协方差模型中添加一个噪声项( the nugget parameter 或 stochastic Kriging)。否则,代理模型将过度拟合噪声而非真实趋势,优化器将被误导。

相关方法

参考文献

  1. Forrester, A., Sobester, A., & Keane, A. (2008). Engineering Design via Surrogate Modelling: A Practical Guide. Wiley.

    打开出版物文献
    已复制。
  2. Sacks, J., Welch, W. J., Mitchell, T. J., & Wynn, H. P. (1989). Design and Analysis of Computer Experiments. Statistical Science, 4(4), 409-423.

    打开 DOI 文献
    已复制。