Przejdź do treści
Wróć do wyników wyszukiwania

Optymalizacja oparta na zastępnikach — projekt wspomagany metamodelami

Autor metody
Sacks, Welch, Mitchell & Wynn (computer experiments framework, 1989); Kriging popularised by Matheron (1963)
Rok
1989 (computer experiments formulation)
Typ
Metamodel-assisted black-box optimization

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Optymalizacja oparta na zastępnikach (surrogate-based optimization), sformalizowana w ramach eksperymentów komputerowych Sacks et al. (1989) i spopularyzowana w inżynierii przez Forrester et al. (2008), zastępuje kosztowną symulację lub eksperyment fizyczny tanim modelem przybliżonym — zwanym zastępnikiem (surrogate) lub metamodelem — a następnie optymalizuje ten zastępnik.

Zastępnik jest zazwyczaj modelem Kriginga (procesu Gaussa), radialnej funkcji bazowej lub powierzchni odpowiedzi wielomianowej, dopasowanym do niewielkiego zbioru starannie dobranych ewaluacji projektowych i okresowo aktualizowanym w miarę postępu poszukiwań.

Intuicja stojąca za metodą

Wyobraźmy sobie, że za każdym razem, gdy chcemy przetestować nowy kształt skrzydła samolotu, musimy przeprowadzić pełną symulację dynamiki płynów (CFD), która trwa 48 godzin. Uruchomienie tysięcy takich ewaluacji w celu znalezienia najlepszego kształtu jest niemożliwe. Optymalizacja oparta na zastępnikach omija ten problem, najpierw uruchamiając małą partię symulacji w dobrze rozłożonych punktach projektowych, dopasowując szybki matematyczny substytut (zastępnik), który przewiduje wydajność dla dowolnego nietestowanego projektu w ciągu sekund, optymalizując ten substytut, a następnie strategicznie wybierając najbardziej obiecujący nowy projekt do faktycznej symulacji. Zastępnik staje się mądrzejszy z każdym dodanym punktem danych, a ostatecznie kosztowny symulator jest wywoływany tylko tam, gdzie jest to naprawdę potrzebne.

Historia

Podstawy statystyczne zostały położone przez Sacksa, Welcha, Mitchella i Syna w ich przełomowym artykule z 1989 roku „Design and Analysis of Computer Experiments” (Statistical Science), który wprowadził ramy Kriginga do emulacji deterministycznych kodów komputerowych. Sam Kriging wywodzi się z prac geostatystycznych Georges'a Matherona z lat 60. XX wieku. Podejście zostało usystematyzowane dla optymalizacji projektowania inżynierskiego przez Forrestera, Sobestera i Keane'a w ich monografii Wiley z 2008 roku, która ustanowiła Latin Hypercube Sampling, walidację krzyżową i oczekiwane ulepszenie jako standardowy potok. Od tego czasu dziedzina rozszerzyła się o zastępniki wielofidelityjne, optymalizację bayesowską (ściśle powiązaną formułę probabilistyczną) oraz zastępniki głębokiego uczenia dla problemów o bardzo wysokiej wymiarowości.

Kiedy stosować

Optymalizacja oparta na zastępnikach jest właściwym wyborem, gdy prawdziwa funkcja celu jest tak kosztowna w ewaluacji — poprzez CFD, analizę metodą elementów skończonych, eksperymenty laboratoryjne lub symulacje wielofizyczne — że można sobie pozwolić tylko na kilkadziesiąt do kilkuset ewaluacji. Metoda wymaga, aby prawdziwa odpowiedź była wystarczająco gładka, aby zastępnik mógł ją przybliżyć; funkcje silnie nieciągłe lub stochastyczne mogą wymagać specjalistycznych zastępników lub technik redukcji wariancji. Przestrzeń projektowa powinna być ciągła. Przestrzenny plan początkowy (Latin Hypercube Sampling) i obowiązkowa walidacja krzyżowa zastępnika są niepodlegającymi negocjacjom warunkami wstępnymi.

Ograniczenia i uwagi

  • Dokładność zastępnika spada w przestrzeniach o wysokiej wymiarowości (klątwa wymiarowości); zazwyczaj praktyczne do około 20–50 zmiennych projektowych bez redukcji wymiarowości.
  • Jeśli prawdziwa funkcja jest silnie nieciągła lub multimodalna, zastępnik może ją błędnie reprezentować i kierować optymalizator do fałszywego optimum.
  • Początkowy budżet treningowy musi być starannie ustalony; zbyt mało punktów daje słaby zastępnik, zbyt wiele zaprzecza celowi unikania kosztownych ewaluacji.
  • Dopasowanie Kriginga i optymalizacja funkcji nabywania dodają narzut obliczeniowy, który rośnie wraz z rozmiarem zbioru treningowego.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dramatycznie zmniejsza liczbę kosztownych, prawdziwych ewaluacji potrzebnych do znalezienia bliskooptymalnego projektu.
  • Zastępniki Kriginga zapewniają oceny niepewności, które umożliwiają stosowanie zasadniczych strategii uzupełniania, takich jak oczekiwane ulepszenie.
  • Działa na problemach typu czarnej skrzynki, gdzie brak jest informacji o gradiencie.
  • Ma zastosowanie w inżynierii, nauce i każdej dziedzinie, gdzie koszt symulacji dominuje.
  • Wielokrotne użycie zastępnika może odpowiedzieć na wiele pytań projektowych bez dodatkowych, prawdziwych ewaluacji.

Zastosowania

  • Optymalizacja kształtu aerodynamicznego skrzydeł samolotów i łopat turbin przy użyciu symulacji CFD.
  • Optymalizacja konstrukcyjna w analizach metodą elementów skończonych, gdzie każda symulacja trwa godziny.
  • Projektowanie bezpieczeństwa zderzeniowego i NVH (hałas, wibracje, szorstkość) w motoryzacji przy ścisłych budżetach ewaluacyjnych.
  • Projektowanie procesów chemicznych i reaktorów, gdzie eksperymenty fizyczne są kosztowne i powolne.
  • Dostrajanie hiperparametrów w uczeniu maszynowym, gdy samo trenowanie modelu jest kosztowne.
  • Rozwój formulacji farmaceutycznych i projektowanie badań klinicznych.

Jak to działa

Jak to działa

1

Przestrzenny plan eksperymentalny — najczęściej próbkowanie typu Latin Hypercube — jest używany do umieszczenia początkowego zbioru punktów projektowych w całej przestrzeni dopuszczalnej. Celem jest maksymalne rozproszenie, aby zastępnik mógł być trenowany z minimalnym odchyleniem w kierunku jakiegokolwiek regionu.

2

Każdy początkowy punkt projektowy jest przekazywany do prawdziwego, kosztownego ewaluatora: solwera CFD, analizy metodą elementów skończonych, testu prototypu fizycznego lub innej funkcji o wysokiej wierności. Ten krok jest wąskim gardłem obliczeniowym; jego wyjście stanowi zbiór danych treningowych dla zastępnika.

3

Model zastępczy — Kriging, radialna funkcja bazowa, wielomianowa powierzchnia odpowiedzi lub sieć neuronowa — jest dopasowywany do danych treningowych. Kriging jest preferowany w projektowaniu inżynierskim, ponieważ zapewnia nie tylko predykcję, ale także skwantyfikowaną ocenę niepewności w każdym nieodwiedzonym punkcie.

4

Dopasowanie zastępnika jest sprawdzane za pomocą walidacji krzyżowej lub przez porównanie predykcji zastępnika w wydzielonym zbiorze punktów testowych z prawdziwymi ewaluacjami. Metryki takie jak R-kwadrat, RMSE i maksymalny błąd bezwzględny wskazują, czy zastępnik reprezentuje prawdziwą funkcję wystarczająco dobrze, aby kierować optymalizacją. Jeśli walidacja zawiedzie, dodawane są dodatkowe punkty treningowe.

5

Tani optymalizator — oparty na gradiencie lub ewolucyjny — przeszukuje dopasowany zastępnik w poszukiwaniu optimum. Ponieważ ewaluacja zastępnika kosztuje prawie nic, tysiące kandydatów rozwiązań można ocenić w ciągu sekund.

6

Projekt przewidywany jako optymalny (lub najbardziej informacyjny, zgodnie z kryteriami oczekiwanego ulepszenia) jest przekazywany z powrotem do kosztownego ewaluatora. Jego prawdziwa odpowiedź jest dodawana do zbioru treningowego i zastępnik jest ponownie dopasowywany. Pętla ta trwa do momentu spełnienia kryterium zatrzymania — budżetu, zbieżności lub celu dokładności.

Częste pułapki

  • Pominięcie walidacji krzyżowej zastępnika jest najczęstszym błędem — słabo dopasowany zastępnik systematycznie wprowadza optymalizator w błąd.
  • Użycie jednorodnego losowego początkowego planu zamiast przestrzennego Latin Hypercube pozostawia regiony przestrzeni projektowej słabo pokryte, tworząc ślepe punkty zastępnika.
  • Zastosowanie metody do problemów ze stochastycznymi odpowiedziami (zaszumione symulacje lub eksperymenty fizyczne) bez uwzględnienia szumu w modelu zastępczym prowadzi do nadmiernego dopasowania do szumu zamiast do prawdziwego trendu.
  • Zbyt wczesne zatrzymanie pętli aktualizacji — zanim zastępnik zbiegnie — może oznaczać, że zgłoszone optimum jest artefaktem zastępnika, a nie prawdziwym ulepszeniem projektu.

Najczęściej zadawane pytania

Jaki typ zastępnika wybrać — Kriging, RBF czy wielomianowy?

Kriging (proces Gaussa) jest domyślnym wyborem w projektowaniu inżynierskim, ponieważ zapewnia zarówno predykcję, jak i punktową ocenę niepewności, umożliwiając stosowanie zasadniczych strategii uzupełniania, takich jak oczekiwane ulepszenie. Radialne funkcje bazowe są lżejsze obliczeniowo i nieco lepiej skalują się. Wielomianowe powierzchnie odpowiedzi są proste i interpretowalne, ale mają trudności z nieliniowymi lub multimodalnymi odpowiedziami. Zacznij od Kriginga, chyba że wymiarowość lub wielkość zbioru treningowego czyni go niepraktycznym.

Ile początkowych punktów projektowych potrzebuję?

Powszechną zasadą jest 10-krotność liczby zmiennych projektowych dla początkowej próbki Latin Hypercube, chociaż zależy to od gładkości odpowiedzi. Metryki walidacyjne (R-kwadrat z walidacji krzyżowej, RMSE) powinny potwierdzić, że zastępnik jest odpowiedni przed rozpoczęciem optymalizacji. Dodatkowe punkty są dodawane w pętli uzupełniania, a nie wszystkie naraz.

Czy optymalizacja oparta na zastępnikach jest tym samym co optymalizacja bayesowska?

Są one ściśle powiązane, ale nie identyczne. Optymalizacja bayesowska jest specyficzną formą optymalizacji opartej na zastępnikach, która wykorzystuje zastępnik procesu Gaussa z probabilistyczną funkcją nabywania (taką jak oczekiwane ulepszenie) do wyboru punktów uzupełniania. Szersze ramy optymalizacji opartej na zastępnikach obejmują zastępniki nieprobabilistyczne (RBF, wielomianowe) i inne kryteria uzupełniania, więc optymalizacja bayesowska jest podzbiorem.

Co jeśli moja symulacja jest zaszumiona, a nie deterministyczna?

Standardowy Kriging zakłada deterministyczną odpowiedź. Dla symulatorów stochastycznych, do modelu kowariancji Kriginga (parametr nugget lub stochastyczny Kriging) należy dodać człon szumu. Bez tego zastępnik nadmiernie dopasuje się do szumu zamiast do prawdziwego trendu, a optymalizator zostanie wprowadzony w błąd.

Pokrewne metody

Źródła

  1. Forrester, A., Sobester, A., & Keane, A. (2008). Engineering Design via Surrogate Modelling: A Practical Guide. Wiley.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Sacks, J., Welch, W. J., Mitchell, T. J., & Wynn, H. P. (1989). Design and Analysis of Computer Experiments. Statistical Science, 4(4), 409-423.

    Otwórz odnośnik DOI
    Skopiowano.