Przejdź do treści
Wróć do wyników wyszukiwania

Optymalizacja stochastyczna — SGD i warianty

Rok
1951 (SGD); 2014 (Adam)
Typ
Gradient-based iterative optimization

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Optymalizacja stochastyczna to rodzina metod iteracyjnych, które minimalizują funkcję celu poprzez obliczanie gradientów na losowo próbkowanych podzbiorach danych — mini-paczkach — zamiast na całym zbiorze danych naraz.

Zapoczątkowane przez Robbinsa i Monro w 1951 roku jako aproksymacja stochastyczna, podejście to stało się standardowym mechanizmem trenowania dużych modeli uczenia maszynowego poprzez warianty takie jak SGD z momentem, AdaGrad, RMSProp i Adam.

Intuicja stojąca za metodą

Wyobraź sobie, że chcesz znaleźć najniższy punkt na rozległym, pagórkowatym terenie, ale mierzenie nachylenia całego terenu na każdym kroku jest zaporowo drogie. Optymalizacja stochastyczna działa poprzez mierzenie nachylenia na małej, losowej łatce terenu, wykonanie kroku w dół i powtarzanie procesu wielokrotnie. Każdy pojedynczy krok jest bardziej zaszumiony niż pomiar całego terenu, ale ogromna liczba tanich kroków pozwala dotrzeć do dna szybciej niż kilka kosztownych, dokładnych pomiarów. Adaptacyjne warianty, takie jak Adam, idą dalej, pamiętając, jak nierówny był każdy kierunek i odpowiednio skalując swoje kroki.

Historia

Optymalizacja stochastyczna wywodzi się od Robbinsa i Monro (1951), którzy udowodnili, że iteracyjne estymaty gradientu zbiegają do punktu stacjonarnego funkcji przy łagodnych warunkach — zakładając dziedzinę aproksymacji stochastycznej. Stochastyczny spadek gradientu stał się szeroko stosowany w uczeniu maszynowym dzięki pracy Bottou w latach 90. nad dużymi modelami liniowymi. Era uczenia głębokiego zintensyfikowała zapotrzebowanie na wydajne metody adaptacyjne: Duchi i in. wprowadzili AdaGrad w 2011 roku, Tieleman i Hinton zaproponowali RMSProp w 2012 roku, a Kingma i Ba opublikowali Adama w 2014 roku, który szybko stał się domyślnym optymalizatorem do trenowania sieci neuronowych ze względu na jego niezawodność w różnych architekturach i zadaniach.

Kiedy stosować

Optymalizacja stochastyczna ma zastosowanie wszędzie tam, gdzie trzeba zminimalizować różniczkowalną (lub sub-różniczkowalną) funkcję straty na dużym zbiorze danych, gdzie obliczanie dokładnych gradientów na pełnym zbiorze danych na każdym kroku jest kosztowne obliczeniowo. Jest to standardowe podejście do trenowania sieci neuronowych, modeli liniowych z dużymi danymi i dowolnych modeli parametrycznych dopasowywanych metodą spadku gradientu. Cel musi dopuszczać gradient lub subgradient; metoda nie ma zastosowania do niedyferencjowalnych problemów typu czarnej skrzynki. Wybór szybkości uczenia jest kluczowy — zbyt duża szybkość powoduje dywergencję, zbyt mała spowalnia zbieżność.

Ograniczenia i uwagi

  • Szybkość uczenia jest kluczowym hiperparametrem; złe wybory prowadzą do dywergencji lub niezwykle powolnej zbieżności.
  • Szum gradientu mini-paczek może zapobiegać zbieżności do dokładnego minimum — optymalizator zazwyczaj oscyluje w pobliżu optimum, zamiast precyzyjnie się ustalać.
  • Punkty siodłowe i słabe minima lokalne są rzeczywistym ryzykiem w krajobrazach nie-wypukłych, chociaż szum gradientu i moment pomagają je łagodzić.
  • Adam i inne metody adaptacyjne mogą zbiegać do ostrzejszych minimów, które gorzej generalizują niż płaskie minima znalezione przez zwykły SGD z ostrożnym dostrajaniem.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Skaluje się do dowolnie dużych zbiorów danych, ponieważ każda aktualizacja wykorzystuje tylko mini-paczki, a nie pełne dane.
  • Szum gradientu z próbkowania mini-paczek może pomóc w ucieczce z płytkich minimów lokalnych i punktów siodłowych.
  • Warianty adaptacyjne (Adam, RMSProp) zmniejszają obciążenie związane z ręcznym dostrajaniem szybkości uczenia, automatycznie dostosowując wielkości kroków dla poszczególnych parametrów.
  • Szeroko wspierane we wszystkich głównych frameworkach uczenia głębokiego i dobrze zrozumiane teoretycznie.

Zastosowania

  • Trenowanie sieci neuronowych o wszystkich głębokościach — od regresji logistycznej po duże modele językowe.
  • Dopasowywanie dużych modeli liniowych i uogólnionych liniowych, gdzie pełny spadek gradientu jest niewykonalny obliczeniowo.
  • Ustawienia uczenia online, gdzie dane napływają strumieniowo, a model musi być aktualizowany przyrostowo.
  • Metody gradientu polityki w uczeniu ze wzmocnieniem, gdzie Adam i RMSProp są standardowymi wyborami.
  • Systemy rekomendacji i modele osadzania trenowane na ogromnych, rzadkich zbiorach danych.

Jak to działa

Jak to działa

1

Wektor parametrów jest inicjalizowany — zazwyczaj małymi losowymi wartościami. Szybkość uczenia (wielkość kroku) oraz, w przypadku wariantów adaptacyjnych, współczynniki zanikania momentu są ustawiane jako hiperparametry przed rozpoczęciem treningu. Te wybory mają duży wpływ na szybkość zbieżności i końcową wydajność.

2

Na każdej iteracji pobierana jest mini-paczka — mały losowy podzbiór pełnego zbioru danych. Wielkość mini-paczki kontroluje kompromis: mniejsze paczki wprowadzają więcej szumu gradientu, ale aktualizują parametry częściej i często lepiej generalizują, podczas gdy większe paczki dają estymaty o niższej wariancji przy wyższym koszcie na iterację.

3

Gradient funkcji celu (straty) względem bieżących parametrów jest obliczany przy użyciu mini-paczki. W przypadku optymalizatorów adaptacyjnych, estymaty pierwszego i drugiego momentu gradientu są również utrzymywane w kolejnych iteracjach, aby śledzić informacje o skali i krzywiźnie dla każdego parametru.

4

Parametry są aktualizowane poprzez ruch przeciwny do kierunku gradientu, przeskalowany przez szybkość uczenia. Warianty adaptacyjne (AdaGrad, RMSProp, Adam) dzielą krok każdego parametru przez bieżącą estymatę przeszłych wielkości gradientu, efektywnie dając większe kroki parametrom aktualizowanym rzadziej i mniejsze kroki tam, gdzie gradient był duży i spójny.

5

Proces jest powtarzany — próbkowanie, obliczanie gradientu i aktualizacja parametrów — aż do spełnienia kryterium zbieżności: strata przestaje maleć, osiągnięto maksymalną liczbę iteracji lub wydajność na zbiorze walidacyjnym przestaje się poprawiać. Wczesne zatrzymanie na wydzielonym zbiorze walidacyjnym chroni przed przeuczeniem.

Częste pułapki

  • Ustawienie zbyt wysokiej szybkości uczenia powoduje dywergencję lub gwałtowne oscylacje straty; zawsze monitoruj krzywą straty podczas treningu.
  • Zapomnienie o przetasowaniu danych przed każdą epoką może wprowadzić okresowe błędy do estymat gradientu.
  • Używanie stałej szybkości uczenia przez cały trening często pozostawia wydajność na stole — harmonogramy szybkości uczenia (rozgrzewka, zanikanie cosinusowe) konsekwentnie poprawiają końcowe wyniki.
  • Uczciwe porównanie optymalizatorów wymaga dopasowania całkowitej liczby ewaluacji gradientu (lub czasu zegarowego), a nie tylko liczby epok.
  • Adaptacyjne szybkości Adama mogą tłumić użyteczny sygnał gradientu w ustawieniach rzadkich; SGD z momentem czasami lepiej generalizuje w zadaniach klasyfikacji obrazów.

Najczęściej zadawane pytania

Który optymalizator powinienem wybrać — SGD, Adam, czy coś innego?

Adam jest bezpiecznym domyślnym wyborem dla większości zadań uczenia głębokiego: jest niezawodny w wyborze szybkości uczenia i szybko zbiega. SGD z momentem i dostrojonym harmonogramem szybkości uczenia często osiąga nieco lepszą końcową generalizację w benchmarkach klasyfikacji obrazów, ale wymaga bardziej ostrożnego dostrajania. AdaGrad nadaje się do problemów z rzadkimi gradientami (np. NLP z cechami typu bag-of-words), podczas gdy RMSProp dobrze sprawdza się w trenowaniu sieci rekurencyjnych.

Jak wybrać szybkość uczenia?

Szybkość uczenia jest najważniejszym hiperparametrem. Powszechną praktyką jest rozpoczęcie od 1e-3 dla Adama i 1e-1 dla SGD, a następnie użycie narzędzia do znajdowania szybkości uczenia lub przeszukiwania siatki. Zastosowanie fazy rozgrzewki, a następnie zanikania cosinusowego lub schodkowego, prawie zawsze poprawia wyniki w porównaniu do stałej szybkości.

Jakiego rozmiaru mini-paczek powinienem użyć?

Często stosuje się rozmiary paczek od 32 do 256. Mniejsze paczki wprowadzają więcej szumu gradientu (co może pomóc w generalizacji) i pozwalają na częstsze aktualizacje; większe paczki zmniejszają szum, ale mogą gorzej generalizować i wymagają ostrożniejszego skalowania szybkości uczenia. Przy podwajaniu rozmiaru paczki, skaluj szybkość uczenia proporcjonalnie (zasada skalowania liniowego) jako punkt wyjścia.

Skąd mam wiedzieć, kiedy zakończyć trening?

Monitoruj stratę na zbiorze walidacyjnym i zatrzymaj się, gdy przestanie się poprawiać przez określoną liczbę kolejnych epok — technika zwana wczesnym zatrzymaniem. Jest to bardziej niezawodne niż zatrzymanie po ustalonej liczbie epok i chroni przed przeuczeniem.

Pokrewne metody

Źródła

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Otwórz odnośnik do publikacji
    Skopiowano.