Uczenie ze wzmocnieniem
- Autor metody
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- Rok
- 1950s–1998
- Typ
- Sequential decision-making framework
- Rodzina
- Deep learning / NLP / CV
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Uczenie ze wzmocnieniem (RL) to ramy, w których agent uczy się podejmować sekwencyjne decyzje poprzez interakcję ze środowiskiem, otrzymywanie skalarnych sygnałów nagrody i aktualizację polityki w celu maksymalizacji skumulowanej przyszłej nagrody.
W przeciwieństwie do uczenia nadzorowanego, nie dostarcza się oznakowanych przykładów; agent odkrywa optymalne zachowanie całkowicie poprzez doświadczenie i opóźnioną informację zwrotną.
Intuicja stojąca za metodą
Wyobraźmy sobie tresurę psa: nie wyjaśnia się mu każdego działania; nagradza się dobre zachowanie i pozwala mu samodzielnie dojść do tego, co należy zrobić. Uczenie ze wzmocnieniem działa w ten sam sposób. Agent próbuje wykonać działania w środowisku, obserwuje, co się dzieje, i otrzymuje nagrodę — pozytywną za pożądane wyniki, negatywną za błędy. Poprzez wiele interakcji uczy się, które działania w jakich sytuacjach prowadzą do największej nagrody, budując strategię — zwaną polityką — bez potrzeby posiadania wstępnie oznakowanego zbioru danych z poprawnymi odpowiedziami.
Historia
Uczenie ze wzmocnieniem ma swoje korzenie w programowaniu dynamicznym Bellmana (1957) i psychologii uczenia się zwierząt. Sutton i Barto sformalizowali nowoczesne ramy w swoim podręczniku z 1998 roku, jednocząc uczenie różnic czasowych, uczenie Q i metody gradientu polityki. Dziedzina przekształciła się w latach 2013–2015, kiedy DQN DeepMind połączył głębokie sieci konwolucyjne z uczeniem Q, aby osiągnąć poziom ludzki w grach Atari, zapoczątkowując głębokie uczenie ze wzmocnieniem jako główny kierunek badań. AlphaGo (2016) i późniejsze prace RLHF nad dużymi modelami językowymi jeszcze bardziej poszerzyły zasięg RL.
Kiedy stosować
Używaj uczenia ze wzmocnieniem, gdy zadanie polega na podejmowaniu sekwencyjnych decyzji z opóźnionymi nagrodami i bez oznakowanych danych treningowych: gry, sterowanie robotami, harmonogramowanie zasobów, sekwencjonowanie rekomendacji lub dostrajanie modeli językowych za pomocą informacji zwrotnej od ludzi (RLHF). RL jest odpowiednie, gdy środowisko można tanio symulować, a agent może wielokrotnie wchodzić w interakcję. NIE używaj RL, gdy problem można rozwiązać za pomocą podejścia nadzorowanego lub samonadzorowanego — RL jest nieefektywne pod względem liczby próbek i niestabilne; gdy funkcja nagrody jest trudna do określenia; gdy interakcje z rzeczywistym środowiskiem są kosztowne lub niebezpieczne bez symulatora; lub gdy zbiór danych jest statyczny i ustalony (używaj RL offline z ostrożnością).
Ograniczenia i uwagi
- Niezwykle nieefektywne pod względem liczby próbek: może wymagać milionów interakcji ze środowiskiem do zbieżności.
- Trening jest często niestabilny i wrażliwy na hiperparametry, formę nagrody i ziarna losowe.
- Projektowanie funkcji nagrody jest trudne; źle określone nagrody powodują niezamierzoną optymalizację (hakowanie nagrody).
- Generalizacja do nieznanych stanów lub środowisk nie jest gwarantowana.
- Wdrożenie w świecie rzeczywistym jest ryzykowne bez obszernej symulacji; eksploracja może prowadzić do niebezpiecznych działań.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy się bezpośrednio z interakcji bez oznakowanych danych, co czyni go stosowalnym tam, gdzie adnotacja jest niemożliwa.
- Zdolny do odkrywania strategii przewyższających ludzkie w złożonych zadaniach sekwencyjnych (gry, robotyka, harmonogramowanie).
- Naturalnie modeluje planowanie długoterminowe i przypisywanie zasług czasowych.
- Skaluje się do przestrzeni stanów o wysokiej wymiarowości (piksele, tekst) w połączeniu z głębokimi sieciami neuronowymi.
- RLHF umożliwia dostosowanie dużych modeli językowych do ludzkich preferencji.
Zastosowania
- Gry i strategie: Atari, Go, szachy, StarCraft na poziomach przewyższających ludzkie.
- Robotyka: lokomocja, manipulacja i precyzyjne sterowanie ręką.
- Dostosowanie dużych modeli językowych za pomocą uczenia ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF).
- Harmonogramowanie zasobów i sieci, optymalizacja chłodzenia centrów danych.
- Spersonalizowane systemy rekomendacji modelujące długoterminowe zaangażowanie użytkownika.
- Symulacja autonomicznych pojazdów i sterowanie sygnalizacją świetlną.
Jak to działa
Jak to działa
Na każdym kroku czasowym agent obserwuje bieżący stan środowiska i wybiera działanie zgodnie ze swoją aktualną polityką. Środowisko przechodzi do nowego stanu i emituje skalarną nagrodę. Ten cykl obserwacja-działanie-nagroda powtarza się, generując trajektorię doświadczenia, która jest wykorzystywana do poprawy polityki.
Celem agenta jest maksymalizacja zdyskontowanej skumulowanej nagrody G_t, która sumuje wszystkie przyszłe nagrody ważone współczynnikiem dyskontującym gamma między 0 a 1. Gamma bliska 1 sprawia, że agent jest dalekowzroczny; mała gamma sprawia, że skupia się na natychmiastowych nagrodach. Staranna forma nagrody jest kluczowa, ponieważ agent optymalizuje każdy otrzymany sygnał.
Wzór
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}Polityka pi mapuje stany na działania (lub prawdopodobieństwa działań). Może być reprezentowana jako tabela przeglądowa dla małych dyskretnych problemów lub jako głęboka sieć neuronowa — agent głębokiego RL — dla stanów o wysokiej wymiarowości, takich jak obrazy czy tekst. Polityka jest tym, czego uczy się agent i ostatecznie tym, co jest wdrażane.
Wzór
\pi(a \mid s) = P(A_t = a \mid S_t = s)
Funkcje wartości szacują, jak dobry jest stan (lub para stan-działanie) w ramach danej polityki. Wartość stanu V(s) to oczekiwana skumulowana nagroda od stanu s wzwyż. Funkcje wartości akcji Q(s, a) rozszerzają to na konkretne działania. Te szacunki kierują poprawą polityki w metodach takich jak uczenie Q, SARSA i algorytmy aktora-krytyka.
Wzór
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]Agent aktualizuje swoją politykę, wykorzystując zebrane doświadczenie. Metody oparte na wartościach (np. DQN) wyprowadzają politykę niejawnie z wartości Q; metody gradientu polityki (np. REINFORCE, PPO) bezpośrednio dostosowują parametry polityki, aby zwiększyć prawdopodobieństwo trajektorii o wysokiej nagrodzie. Większość nowoczesnych algorytmów łączy oba podejścia w architekturach aktora-krytyka.
Częste pułapki
- Określenie funkcji nagrody, która jest łatwa do optymalizacji, ale niezgodna z prawdziwym celem (hakowanie nagrody).
- Pominięcie dobrze dostrojonego środowiska symulacyjnego i przejście bezpośrednio do rzeczywistego sprzętu, co prowadzi do kosztownych awarii.
- Wybieranie RL, gdy podejście nadzorowane lub uczenie przez imitację byłoby znacznie bardziej efektywne pod względem liczby próbek.
- Ignorowanie powtarzalności: wyniki RL znacznie różnią się w zależności od ziaren losowych; zawsze zgłaszaj wiele przebiegów.
- Traktowanie krzywej treningowej z jednego przebiegu jako dowodu zbieżności bez odcinków ewaluacyjnych z wyłączonymi danymi.
Najczęściej zadawane pytania
Co odróżnia uczenie ze wzmocnieniem od uczenia nadzorowanego?
Uczenie nadzorowane wymaga oznakowanych par wejście-wyjście i uczy się stałego odwzorowania. RL nie wymaga etykiet; zamiast tego agent otrzymuje sygnały nagrody po wykonaniu działań i musi odkryć, co robić, poprzez metodę prób i błędów, co czyni go odpowiednim do problemów sekwencyjnego podejmowania decyzji, gdzie poprawne działanie nie jest znane z góry.
Jaka jest różnica między uczeniem ze wzmocnieniem bez modelu a z modelem?
RL bez modelu (np. DQN, PPO) uczy się polityk lub funkcji wartości bezpośrednio z doświadczenia, bez jawnego modelu dynamiki środowiska. RL z modelem uczy się lub otrzymuje model przejścia i wykorzystuje go do planowania. Metody z modelem zazwyczaj są bardziej efektywne pod względem liczby próbek, ale wymagają dokładnego modelu, który może być trudny do nauczenia.
Jak wybrać między metodą opartą na wartościach a metodą gradientu polityki?
Metody oparte na wartościach, takie jak DQN, dobrze sprawdzają się w dyskretnych przestrzeniach akcji i są stosunkowo stabilne. Metody gradientu polityki (REINFORCE, PPO, SAC) naturalnie obsługują ciągłe przestrzenie akcji i mogą uczyć się stochastycznych polityk. Metody aktora-krytyka łączą oba podejścia. W większości nowoczesnych zastosowań PPO lub SAC są bezpiecznymi punktami wyjścia.
Ile interakcji ze środowiskiem zazwyczaj potrzebuje RL?
RL jest notorycznie głodne próbek. Proste zadania tabelaryczne mogą zbiec się w tysiącach kroków; Atari DQN wymagało dziesiątek milionów klatek; złożone zadania robotyczne mogą wymagać setek milionów kroków symulacji. To sprawia, że szybki symulator jest niezbędny i wyklucza RL dla wielu problemów w świecie rzeczywistym z kosztownymi interakcjami.
Czym jest RLHF i dlaczego jest ważne?
Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF) trenuje model nagrody na podstawie porównań preferencji ludzkich, a następnie dostraja model językowy za pomocą RL, aby zmaksymalizować tę nauczoną nagrodę. Jest to dominująca technika dostosowywania dużych modeli językowych do ludzkich wartości i jest kluczowa dla modeli takich jak InstructGPT i Claude.
Pokrewne metody
Źródła
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Skopiowano.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Otwórz odnośnik DOISkopiowano.