Przejdź do treści
Wróć do wyników wyszukiwania

Optymalizacja bayesowska — sekwencyjne, modelowe dostrajanie hiperparametrów

Autor metody
Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
Rok
1975 (foundational); 2012 (ML standard)
Typ
Sequential model-based black-box optimization

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Optymalizacja bayesowska to sekwencyjna, modelowa strategia znajdowania optimum kosztownych funkcji typu czarna skrzynka przy możliwie najmniejszej liczbie ewaluacji.

Zakorzeniona w pracach Mockusa (1975) i wprowadzona do głównego nurtu uczenia maszynowego przez Snoeka, Larochelle'a i Adamsa (2012), dopasowuje probabilistyczny model zastępczy — zazwyczaj proces Gaussa — do wcześniejszych obserwacji i wykorzystuje funkcję akwizycji do decydowania, gdzie przeprowadzić kolejne badanie, równoważąc eksplorację nieznanych obszarów z eksploatacją obiecujących.

Intuicja stojąca za metodą

Wyobraźmy sobie, że musimy znaleźć najlepsze ustawienia dla modelu uczenia maszynowego, ale każda próba trwa wiele godzin. Nie możemy sobie pozwolić na przetestowanie każdej kombinacji. Optymalizacja bayesowska działa jak ostrożny naukowiec: tworzy bieżącą mapę tego, co zostało wypróbowane i jakie wyniki uzyskano, wykorzystuje tę mapę do odgadnięcia, gdzie prawdopodobnie leży optimum, a następnie wybiera kolejny eksperyment, który najprawdopodobniej poprawi najlepszy dotychczasowy wynik. W miarę przeprowadzania kolejnych eksperymentów mapa staje się dokładniejsza, a wybory mądrzejsze — wszystko to bez potrzeby znajomości wzoru matematycznego wewnątrz czarnej skrzynki.

Historia

Teoretyczne podstawy optymalizacji bayesowskiej zostały położone przez Jonasa Mockusa i współpracowników w latach 70. XX wieku poprzez koncepcję oczekiwanego ulepszenia dla sekwencyjnego projektowania eksperymentów. Podejście to pozostało w dużej mierze akademickie do 2012 roku, kiedy Snoek, Larochelle i Adams opublikowali „Practical Bayesian Optimization of Machine Learning Algorithms” na konferencji NeurIPS, demonstrując, że optymalizacja bayesowska oparta na procesach Gaussa konsekwentnie przewyższała ręczne dostrajanie przez ekspertów i wyszukiwanie losowe na standardowych benchmarkach uczenia maszynowego. Praca ta katalizowała rozwój dedykowanych bibliotek i ustanowiła optymalizację bayesowską jako de facto standard dla wyszukiwania hiperparametrów w głębokim uczeniu i potokach AutoML. Samouczek Petera Fraziera z 2018 roku (arXiv:1807.02811) później dostarczył ujednolicone opracowanie pedagogiczne, które poszerzyło zasięg metody poza społeczność uczenia maszynowego.

Kiedy stosować

Optymalizacja bayesowska jest właściwym wyborem, gdy funkcja celu jest kosztowna lub wolna w ewaluacji — trenowanie dużego modelu, uruchamianie symulacji fizycznej lub przeprowadzanie eksperymentu laboratoryjnego — a budżet jest ograniczony do dziesiątek lub niskich setek ewaluacji. Przestrzeń poszukiwań musi być zdefiniowana z wyraźnymi granicami dla każdego parametru. Metoda naturalnie obsługuje parametry ciągłe i porządkowe; czysto kategoryczne lub bardzo wysokowymiarowe przestrzenie (ponad około 20 parametrów) mogą pogorszyć jakość modelu zastępczego i mogą wymagać rozszerzeń, takich jak lasy losowe jako model zastępczy lub wstępne przetwarzanie redukcji wymiarowości. Jeśli ewaluacje są tanie i dostępny jest równoległość, prostsze wyszukiwanie losowe lub przeszukiwanie siatki może być konkurencyjne.

Ograniczenia i uwagi

  • Słabo skaluje się do bardzo wysokowymiarowych przestrzeni hiperparametrów: dopasowanie procesu Gaussa staje się kosztowne obliczeniowo, a model zastępczy traci dokładność powyżej około 10–20 wymiarów.
  • Wrażliwość na wybór jądra modelu zastępczego i funkcji akwizycji: słabe wartości domyślne mogą utrudniać zbieżność, zwłaszcza w przypadku niestacjonarnych lub multimodalnych funkcji celu.
  • Domyślnie sekwencyjna: każda ewaluacja musi zostać zakończona, zanim zostanie wybrany następny kandydat, co ogranicza równoległość, chyba że zastosowane zostaną rozszerzenia trybu wsadowego lub asynchronicznego.
  • Wymaga ograniczonych przestrzeni poszukiwań: parametry bez wyraźnych zakresów nie mogą być obsługiwane bezpośrednio.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Efektywność próbkowania: znajduje dobre konfiguracje w znacznie mniejszej liczbie ewaluacji niż przeszukiwanie siatki lub wyszukiwanie losowe, co ma znaczenie, gdy każda ewaluacja jest wolna lub kosztowna.
  • Uzasadniona równowaga eksploracja–eksploatacja: funkcja akwizycji dostarcza formalnego, interpretowalnego kryterium do określenia, gdzie szukać dalej.
  • Niepewność oparta na modelu: proces Gaussa nie tylko przewiduje wydajność, ale także kwantyfikuje własną pewność, umożliwiając podejmowanie świadomych decyzji o zatrzymaniu.
  • Zastosowanie do dowolnej funkcji celu typu czarna skrzynka: metoda nie wymaga informacji o gradientach ani matematycznej wiedzy o wnętrzu funkcji celu.

Zastosowania

  • Dostrajanie hiperparametrów modeli uczenia maszynowego i głębokiego uczenia, gdzie każde uruchomienie treningowe jest kosztowne obliczeniowo.
  • Neural Architecture Search (NAS): wybór architektonicznych decyzji, takich jak szerokości warstw, funkcje aktywacji i połączenia pomijające.
  • Projektowanie eksperymentów w inżynierii i naukach przyrodniczych, gdzie każdy eksperyment fizyczny jest kosztowny lub czasochłonny.
  • Potoki Automatic Machine Learning (AutoML), które wspólnie wybierają algorytmy i ich hiperparametry.
  • Odkrywanie leków i inżynieria materiałowa, gdzie ocena konfiguracji kandydującej wymaga pracy laboratoryjnej.

Jak to działa

Jak to działa

1

Praktyk definiuje przestrzeń poszukiwań: każdy hiperparametr do dostrojenia otrzymuje typ (ciągły, porządkowy) i zakres — dolną i górną granicę — w którym optymalizator może prowadzić poszukiwania. Jasna definicja przestrzeni jest warunkiem wstępnym dla wszystkiego innego i zapobiega ekstrapolacji modelu zastępczego poza bezpieczne obszary.

2

Niewielka liczba punktów w przestrzeni poszukiwań jest ewaluowana losowo lub za pomocą projektu wypełniającego przestrzeń (np. próbkowanie z hiperkostki łacińskiej). Te początkowe obserwacje — zazwyczaj pięć do dziesięciu — dostarczają modelowi zastępczemu wystarczających danych do utworzenia pierwszej, zgrubnej mapy krajobrazu funkcji celu przed rozpoczęciem pętli sekwencyjnej.

3

Wszystkie zebrane dotychczas obserwacje są wykorzystywane do dopasowania probabilistycznego modelu zastępczego, najczęściej procesu Gaussa. Proces Gaussa zwraca zarówno średnią predykcję, jak i oszacowanie niepewności w każdym punkcie przestrzeni, odzwierciedlając zarówno to, co jest znane, jak i pewność modelu. Model zastępczy jest tani w ewaluacji, więc można go odpytywać tysiące razy zamiast kosztownej prawdziwej funkcji celu.

4

Funkcja akwizycji — taka jak Expected Improvement (EI) lub Upper Confidence Bound (UCB) — jest maksymalizowana na modelu zastępczym w celu wyboru kolejnego punktu kandydującego. EI kwantyfikuje oczekiwany zysk w stosunku do obecnego najlepszego wyniku; UCB dodaje bonus eksploracyjny ważony pewnością. Ten krok jest miejscem, w którym rozstrzyga się kompromis między eksploracją a eksploatacją: obszary o wysokiej przewidywanej wydajności i obszary o wysokiej niepewności przyciągają uwagę.

5

Punkt kandydujący wybrany przez funkcję akwizycji jest przekazywany do prawdziwej funkcji celu — na przykład, trenowania i walidacji sieci neuronowej z tymi hiperparametrami. Ta ewaluacja jest kosztownym krokiem. Jej wynik (ocena) jest rejestrowany wraz ze współrzędnymi kandydata.

6

Nowa obserwacja jest dodawana do zbioru danych, model zastępczy jest ponownie dopasowywany, a pętla wraca do kroku akwizycji. Po wyczerpaniu budżetu iteracji, konfiguracja hiperparametrów, która dała najlepszy zaobserwowany wynik, jest zwracana jako ostateczna rekomendacja.

Częste pułapki

  • Zbyt mała liczba początkowych losowych prób sprawia, że model zastępczy jest słabo skalibrowany; należy użyć co najmniej pięciu początkowych punktów, a więcej w przestrzeniach o wyższej wymiarowości.
  • Uruchamianie optymalizatora na bardzo małą liczbę całkowitych iteracji (mniej niż około dziesięć) oznacza, że model zastępczy nigdy nie staje się wiarygodny; w takich przypadkach preferowane jest proste wyszukiwanie losowe.
  • Ignorowanie wyboru funkcji akwizycji: EI faworyzuje eksploatację i może utknąć w pobliżu wczesnych dobrych wyników; UCB dodaje eksplorację poprzez regulowaną wagę pewności — żadna z nich nie jest uniwersalnie najlepsza, a domyślny wybór powinien być zweryfikowany pod kątem struktury problemu.
  • Traktowanie optymalizacji bayesowskiej jako samej czarnej skrzynki: zawsze należy sprawdzać ślad zbieżności (najlepszy zaobserwowany wynik vs. iteracja), aby wcześnie wykryć stagnację.
  • Stosowanie metody, gdy ewaluacje są tanie — wyszukiwanie losowe lub przeszukiwanie siatki zbiegnie się równie dobrze przy ułamku narzutu implementacyjnego.

Najczęściej zadawane pytania

Czym optymalizacja bayesowska różni się od przeszukiwania siatki lub wyszukiwania losowego?

Przeszukiwanie siatki ewaluuje stałą siatkę konfiguracji, a wyszukiwanie losowe próbkuje równomiernie losowo — oba ignorują wyniki poprzednich prób przy wyborze kolejnego punktu. Optymalizacja bayesowska aktywnie wykorzystuje wszystkie wcześniejsze obserwacje do zbudowania modelu zastępczego i wybiera kolejny punkt, który najprawdopodobniej poprawi obecny najlepszy wynik, co czyni ją znacznie bardziej efektywną pod względem próbkowania, gdy ewaluacje są kosztowne.

Jakiej funkcji akwizycji powinienem użyć?

Expected Improvement (EI) jest najczęściej używaną wartością domyślną: mierzy oczekiwany zysk w stosunku do obecnego najlepszego wyniku i zazwyczaj jest niezawodna w różnych typach problemów. Upper Confidence Bound (UCB) dodaje regulowany bonus eksploracyjny i jest często preferowana, gdy krajobraz jest słabo poznany. Probability of Improvement (PI) jest bardziej nastawiona na eksploatację i może zbiegać się przedwcześnie. Zacznij od EI i przełącz się na UCB, jeśli optymalizator wydaje się stagnować.

Ile iteracji jest potrzebnych?

Nie ma uniwersalnej zasady, ale mniej niż około dziesięć całkowitych ewaluacji (w tym początkowe losowe próby) dostarcza modelowi zastępczemu zbyt mało danych, aby był wiarygodny. Praktyczne wdrożenia zazwyczaj wykorzystują pięć do dziesięciu początkowych losowych punktów, a następnie dwadzieścia do pięćdziesięciu sekwencyjnych kroków bayesowskich. Gdy najlepszy zaobserwowany wynik przestaje się poprawiać przez kilka kolejnych iteracji, budżet można zatrzymać.

Czy optymalizacja bayesowska może być zrównoleglona?

Standardowa optymalizacja bayesowska jest z natury sekwencyjna. Rozszerzenia trybu wsadowego pozwalają na jednoczesne proponowanie zestawu kandydatów — typowe strategie obejmują Local Penalization i heurystykę Kriging Believer — umożliwiając równoległą ewaluację. Warianty asynchroniczne uruchamiają nowego kandydata, gdy tylko pracownik staje się wolny, zamiast czekać na pełną partię. Te rozszerzenia są dostępne w bibliotekach takich jak Optuna i BoTorch.

Pokrewne metody

Źródła

  1. Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Frazier, P.I. (2018). A Tutorial on Bayesian Optimization. arXiv:1807.02811.

    Otwórz odnośnik do publikacji
    Skopiowano.