Оптимизация на основе суррогатов — проектирование с использованием метамоделей
- Автор метода
- Sacks, Welch, Mitchell & Wynn (computer experiments framework, 1989); Kriging popularised by Matheron (1963)
- Год
- 1989 (computer experiments formulation)
- Тип
- Metamodel-assisted black-box optimization
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Оптимизация на основе суррогатов, формализованная в рамках компьютерных экспериментов Сакса и др. (1989) и популяризированная в инженерии Форрестером и др. (2008), заменяет непомерно дорогостоящее моделирование или физический эксперимент дешевой аппроксимирующей моделью — называемой суррогатом или метамоделью — и затем оптимизирует этот суррогат.
Суррогатом обычно является модель Крѝгинга (Гауссовский процесс), радиальных базисных функций или полиномиальная поверхность отклика, построенная по небольшому набору тщательно отобранных проектных оценок и периодически обновляемая по мере прогресса поиска.
Интуиция метода
Представьте, что каждый раз, когда вы хотите протестировать новую форму крыла самолета, вам приходится запускать полное моделирование вычислительной гидродинамики (CFD), которое занимает 48 часов. Запуск тысяч таких оценок для поиска наилучшей формы невозможен. Оптимизация на основе суррогатов обходит это, сначала запуская небольшую партию симуляций в хорошо распределенных проектных точках, строя быструю математическую замену (суррогат), которая предсказывает производительность для любой непротестированной конструкции за секунды, оптимизируя эту замену, а затем стратегически выбирая наиболее перспективную новую конструкцию для фактического моделирования. Суррогат становится умнее с каждой добавленной новой точкой данных, и в конечном итоге дорогостоящий симулятор вызывается только там, где это действительно важно.
История
Статистические основы были заложены Саксом, Уэлчем, Митчеллом и Винном в их знаковой статье 1989 года «Дизайн и анализ компьютерных экспериментов» (Statistical Science), которая представила фреймворк Крѝгинга для эмуляции детерминированных компьютерных кодов. Сам Крѝгинг восходит к геостатистическим работам Жоржа Матерона в 1960-х годах. Подход был систематизирован для оптимизации инженерных проектов Форрестером, Собестером и Кином в их монографии Wiley 2008 года, которая установила метод Латинского гиперкуба, перекрестную проверку и ожидаемое улучшение в качестве стандартного конвейера. С тех пор область расширилась, включив мультифизические суррогаты, байесовскую оптимизацию (тесно связанную вероятностную формулировку) и глубокообучающиеся суррогаты для задач с очень высокой размерностью.
Когда применять
Оптимизация на основе суррогатов является правильным выбором, когда истинная целевая функция настолько дорога для оценки — посредством CFD, конечно-элементного анализа, лабораторных экспериментов или мультифизических симуляций — что доступны только десятки или несколько сотен оценок. Метод требует, чтобы истинный отклик был достаточно гладким для аппроксимации суррогатом; сильно разрывные или стохастические функции могут потребовать специализированных суррогатов или методов снижения дисперсии. Пространство проектирования должно быть непрерывным. Полнопространственный начальный дизайн (метод Латинского гиперкуба) и обязательная перекрестная проверка суррогата являются обязательными предпосылками.
Ограничения и замечания
- Точность суррогата снижается в пространствах высокой размерности (проклятие размерности); обычно практично до ~20–50 переменных проектирования без снижения размерности.
- Если истинная функция сильно разрывна или мультимодальна, суррогат может исказить ее и направить оптимизатор к ложному оптимуму.
- Начальный бюджет обучения должен быть установлен тщательно; слишком мало точек дают плохой суррогат, слишком много сводят на нет цель избежания дорогостоящих оценок.
- Подгонка Крѝгинга и оптимизация функции приобретения добавляют вычислительные накладные расходы, которые растут с размером обучающего набора.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко сокращает количество дорогостоящих истинных оценок, необходимых для поиска близкого к оптимальному решения.
- Суррогаты Крѝгинга предоставляют оценки неопределенности, которые позволяют использовать принципиальные стратегии добавления точек, такие как ожидаемое улучшение.
- Работает на задачах с черным ящиком, где информация о градиенте недоступна.
- Применимо в инженерии, науке и любой области, где стоимость моделирования является доминирующей.
- Повторно используемый суррогат может отвечать на различные проектные вопросы без дополнительных истинных оценок.
Применение
- Оптимизация аэродинамической формы крыльев самолетов и лопаток турбин с использованием симуляций CFD.
- Структурная оптимизация в конечно-элементных анализах, где каждая симуляция занимает часы.
- Автомобильная безопасность при столкновении и проектирование NVH (шум, вибрация, жесткость) при ограниченных бюджетах на оценку.
- Разработка химических процессов и реакторов, где физические эксперименты дороги и медленны.
- Настройка гиперпараметров в машинном обучении, когда обучение модели само по себе дорого.
- Разработка фармацевтических составов и дизайн клинических испытаний.
Как это работает
Как это работает
Для размещения начального набора проектных точек по всему допустимому пространству используется полнопространственный экспериментальный дизайн — чаще всего метод Латинского гиперкуба. Цель — максимальное разнесение, чтобы суррогат мог быть обучен с минимальным смещением в сторону какой-либо области.
Каждая начальная проектная точка передается истинному дорогостоящему оценщику: решателю CFD, конечно-элементному анализу, испытанию физического прототипа или любой другой высокоточной функции. Этот шаг является вычислительным узким местом; его вывод формирует обучающий набор данных для суррогата.
Суррогатная модель — Крѝгинг, радиальные базисные функции, полиномиальная поверхность отклика или нейронная сеть — строится на обучающих данных. Крѝгинг предпочтителен в инженерном проектировании, поскольку он обеспечивает не только прогноз, но и количественную оценку неопределенности в каждой непосещенной точке.
Подгонка суррогата проверяется перекрестной проверкой или сравнением прогнозов суррогата в отложенном наборе тестовых точек с истинными оценками. Метрики, такие как R-квадрат, RMSE и максимальная абсолютная ошибка, указывают, насколько хорошо суррогат представляет истинную функцию для управления оптимизацией. Если проверка не удалась, добавляются дополнительные точки обучения.
Дешевый оптимизатор — градиентный или эволюционный — ищет оптимальное значение в подогнанном суррогате. Поскольку оценка суррогата почти ничего не стоит, тысячи кандидатских решений могут быть оценены за секунды.
Конструкция, предсказанная как оптимальная (или наиболее информативная, согласно критериям ожидаемого улучшения), передается обратно дорогостоящему оценщику. Ее истинный отклик добавляется в обучающий набор, и суррогат перестраивается. Этот цикл продолжается до тех пор, пока не будет достигнут критерий остановки — бюджет, сходимость или целевая точность.
Частые ошибки
- Пропуск перекрестной проверки суррогата — самая распространенная ошибка; плохо подогнанный суррогат будет систематически вводить оптимизатор в заблуждение.
- Использование равномерного случайного начального дизайна вместо полнопространственного Латинского гиперкуба оставляет области пространства проектирования плохо покрытыми, создавая слепые зоны суррогата.
- Применение метода к задачам со стохастическими откликами (шумные симуляции или физические эксперименты) без учета шума в суррогатной модели приводит к переобучению на шум, а не на истинную тенденцию.
- Преждевременное прекращение цикла обновления — до того, как суррогат сойдется — может означать, что сообщенный оптимум является артефактом суррогата, а не истинным улучшением конструкции.
Часто задаваемые вопросы
Какой тип суррогата выбрать — Крѝгинг, RBF или полиномиальный?
Крѝгинг (Гауссовский процесс) является стандартом для инженерного проектирования, поскольку он обеспечивает как прогноз, так и оценку неопределенности в каждой точке, позволяя использовать принципиальные стратегии добавления точек, такие как ожидаемое улучшение. Радиальные базисные функции вычислительно легче и масштабируются несколько лучше. Полиномиальные поверхности отклика просты и интерпретируемы, но плохо справляются с нелинейными или мультимодальными откликами. Начните с Крѝгинга, если только размерность или размер обучающего набора не делают его непрактичным.
Сколько начальных проектных точек мне нужно?
Распространенное эмпирическое правило — 10-кратное количество переменных проектирования для начальной выборки Латинского гиперкуба, хотя это зависит от гладкости отклика. Метрики валидации (перекрестная проверка R-квадрат, RMSE) должны подтвердить адекватность суррогата перед началом оптимизации. Дополнительные точки добавляются через цикл добавления, а не все сразу.
Является ли оптимизация на основе суррогатов тем же, что и байесовская оптимизация?
Они тесно связаны, но не идентичны. Байесовская оптимизация — это специфическая форма оптимизации на основе суррогатов, которая использует суррогат Гауссовского процесса с вероятностной функцией приобретения (такой как ожидаемое улучшение) для выбора точек добавления. Более широкий фреймворк оптимизации на основе суррогатов включает непараметрические суррогаты (RBF, полиномиальные) и другие критерии добавления, поэтому байесовская оптимизация является подмножеством.
Что, если моя симуляция зашумлена, а не детерминирована?
Стандартный Крѝгинг предполагает детерминированный отклик. Для стохастических симуляторов в ковариационную модель Крѝгинга (параметр наггета или стохастический Крѝгинг) должен быть добавлен шумовой член. Без этого суррогат будет переобучаться на шум, а не на истинную тенденцию, и оптимизатор будет введен в заблуждение.
Похожие методы
Источники
Forrester, A., Sobester, A., & Keane, A. (2008). Engineering Design via Surrogate Modelling: A Practical Guide. Wiley.
Открыть ссылку на публикациюСкопировано.Sacks, J., Welch, W. J., Mitchell, T. J., & Wynn, H. P. (1989). Design and Analysis of Computer Experiments. Statistical Science, 4(4), 409-423.
Открыть ссылку DOIСкопировано.