Głębokie uczenie ze wzmocnieniem
- Autor metody
- Mnih, V. et al. (DQN)
- Rok
- 2015
- Typ
- Sequential decision-making (agent–environment interaction)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Głębokie uczenie ze wzmocnieniem łączy sieci neuronowe z uczeniem ze wzmocnieniem, dzięki czemu agent uczy się poprzez interakcję ze środowiskiem.
Metoda została spopularyzowana przez pracę Mnih i współpracowników z 2015 roku opublikowaną w Nature, dotyczącą sterowania w grach Atari na poziomie ludzkim. Zamiast uczyć się z ustalonego, oznakowanego zbioru danych, agent podejmuje działania, obserwuje nagrody i stopniowo kształtuje strategię maksymalizującą długoterminowy zwrot.
Intuicja stojąca za metodą
Wyobraź sobie naukę gry bez podręcznika zasad: próbujesz ruchów, obserwujesz zmianę wyniku i powoli odkrywasz, które działania przynoszą korzyści w przyszłości. Głębokie uczenie ze wzmocnieniem automatyzuje dokładnie tę pętlę prób i błędów. Sieć neuronowa szacuje, jak dobre są sytuacje i działania, a agent zachowuje wybory, które z czasem przynoszą więcej nagród — nawet jeśli nagroda następuje wiele kroków po podjęciu decyzji.
Historia
Głębokie uczenie ze wzmocnieniem zyskało na znaczeniu dzięki publikacji Mnih i współpracowników w Nature z 2015 roku, w której głęboka sieć Q osiągnęła poziom ludzki w sterowaniu wieloma grami Atari bezpośrednio z pikseli. Następnie pojawiły się postępy w metodach gradientu strategii, w tym A3C i Proximal Policy Optimization (PPO) Schulmana i współpracowników z 2017 roku, które stały się szeroko stosowanym i bardziej stabilnym domyślnym rozwiązaniem. Łącznie DQN, PPO i A3C stanowią podstawę nowoczesnego zestawu narzędzi głębokiego uczenia ze wzmocnieniem, używanego w grach, robotyce i poza nimi.
Kiedy stosować
Używaj głębokiego uczenia ze wzmocnieniem do problemów sekwencyjnego podejmowania decyzji i sterowania — gier, sterowania robotami, optymalizacji rekomendacji, wsparcia decyzji klinicznych — gdzie agent może wchodzić w interakcję z symulatorem lub środowiskiem na żywo, a sygnał nagrody może być zdefiniowany. Obsługuje zmienne ciągłe i kategoryczne, nie zakłada normalności, ale wymaga zaprojektowanej funkcji nagrody i znacznej ilości danych z interakcji (co najmniej około 1000 epizodów). Przy znacznie mniejszej liczbie interakcji strategia nie zbiegnie się, a bezpieczniejszym wyborem jest model nadzorowany, taki jak Random Forest lub XGBoost.
Ograniczenia i uwagi
- Wymaga symulatora lub środowiska interakcji oraz starannie zaprojektowanej funkcji nagrody.
- Potrzebuje dużo danych: wymaga dużej liczby interakcji (około 1000+) i zalecana jest karta GPU.
- Poniżej około 1000 interakcji strategia nie zbiega się; poniżej ~500 nie jest w stanie wygenerować wiarygodnej strategii decyzyjnej.
- Trening może być niestabilny i wrażliwy na hiperparametry oraz kształtowanie nagrody.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy się strategii sterowania i sekwencyjnych bezpośrednio z interakcji, bez oznakowanych przykładów.
- Aproksymacja funkcji neuronowych skaluje się do bardzo dużych przestrzeni stanów i akcji.
- Elastyczne w różnych domenach — gry, robotyka, rekomendacje, wsparcie decyzji klinicznych.
- Brak założeń o normalności; działa ze zmiennymi ciągłymi i kategorycznymi oraz wieloma strukturami danych.
Zastosowania
- Gry i sterowanie agentem (na przykład gry Atari i planszowe).
- Sterowanie robotami i zadania sterowania ciągłego.
- Rekomendacje i problemy sekwencyjnej optymalizacji.
- Wsparcie decyzji klinicznych ujęte jako sekwencyjne podejmowanie decyzji.
Jak to działa
Jak to działa
Agent obserwuje bieżący stan środowiska (gry, symulatora, robota, systemu rekomendacji), wybiera akcję i otrzymuje nagrodę oraz kolejny stan. Wymagany jest symulator lub środowisko interakcji na żywo, a funkcja nagrody musi być zaprojektowana celowo, ponieważ definiuje ona, co oznacza „dobre zachowanie”. Każda interakcja dodaje danych do doświadczenia, z którego uczy się agent.
Sieć neuronowa aproksymuje wartość stanów i akcji — na przykład głęboka sieć Q szacuje oczekiwany przyszły zwrot z każdej akcji, podczas gdy metody gradientu strategii, takie jak PPO i A3C, bezpośrednio parametryzują strategię. To właśnie sprawia, że metoda jest „głęboka”: sieć generalizuje na ogromne przestrzenie stanów, których tablica przeglądowa nigdy nie mogłaby pokryć.
Wzór
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]Wykorzystując nagrody zebrane podczas interakcji, sieć jest aktualizowana w celu faworyzowania akcji prowadzących do wyższego skumulowanego zdyskontowanego zwrotu, stopniowo doskonaląc strategię w kierunku maksymalizującej długoterminową nagrodę. Ponieważ uczenie jest napędzane doświadczeniem, do konwergencji strategii potrzebna jest duża ilość danych z interakcji (rejestr zaleca co najmniej około 1000 epizodów/interakcji) i idealnie karta GPU.
Wzór
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]Częste pułapki
- Zastosowanie głębokiego uczenia ze wzmocnieniem do małego zbioru danych, gdzie strategia nie może zbiec się, zamiast używania modelu nadzorowanego.
- Zaprojektowanie źle sprecyzowanej funkcji nagrody, którą agent wykorzystuje w niezamierzony sposób.
- Pominięcie symulatora/środowiska interakcji i próba uczenia się ze statycznej tabeli rekordów.
- Ignorowanie diagnostyki konwergencji i ufanie niedotrenowanej strategii o dużej wariancji.
- Niedoszacowanie potrzeb obliczeniowych i uruchamianie bez karty GPU na zbyt małej liczbie epizodów.
Najczęściej zadawane pytania
Ile danych potrzebuje głębokie uczenie ze wzmocnieniem?
Jest to metoda wymagająca dużej ilości danych. Rejestr zaleca co najmniej około 1000 interakcji/epizodów, aby strategia mogła zbiec się; poniżej około 500 interakcji DQN/PPO nie jest w stanie wygenerować wiarygodnej strategii decyzyjnej, a preferowany jest model nadzorowany.
Jaka jest różnica między DQN, PPO i A3C?
DQN uczy się funkcji wartości (oczekiwanego zwrotu z każdej akcji) i działa chciwie względem niej. PPO i A3C to metody gradientu strategii, które bezpośrednio optymalizują strategię; PPO w szczególności jest ceniony za stabilność treningu.
Czy potrzebuję symulatora?
Tak. Głębokie uczenie ze wzmocnieniem uczy się z interakcji, dlatego wymagany jest symulator lub środowisko interakcji na żywo, wraz z celowo zaprojektowaną funkcją nagrody, która koduje cel.
Czy potrzebuję karty GPU?
Zalecana jest karta GPU. Głębokie uczenie ze wzmocnieniem trenuje sieci neuronowe na bardzo dużej liczbie interakcji, więc bez odpowiednich zasobów obliczeniowych trening jest powolny, a osiągnięcie konwergencji jest trudne.
Pokrewne metody
Źródła
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
Otwórz odnośnik DOISkopiowano.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
Otwórz odnośnik do publikacjiSkopiowano.