Przejdź do treści
Wróć do wyników wyszukiwania

Uczenie ze wzmocnieniem

Autor metody
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Rok
1950s–1998
Typ
Sequential decision-making framework
Rodzina
Deep learning / NLP / CV

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Uczenie ze wzmocnieniem (RL) to ramy, w których agent uczy się podejmować sekwencyjne decyzje poprzez interakcję ze środowiskiem, otrzymywanie skalarnych sygnałów nagrody i aktualizację polityki w celu maksymalizacji skumulowanej przyszłej nagrody.

W przeciwieństwie do uczenia nadzorowanego, nie dostarcza się oznakowanych przykładów; agent odkrywa optymalne zachowanie całkowicie poprzez doświadczenie i opóźnioną informację zwrotną.

Intuicja stojąca za metodą

Wyobraźmy sobie tresurę psa: nie wyjaśnia się mu każdego działania; nagradza się dobre zachowanie i pozwala mu samodzielnie dojść do tego, co należy zrobić. Uczenie ze wzmocnieniem działa w ten sam sposób. Agent próbuje wykonać działania w środowisku, obserwuje, co się dzieje, i otrzymuje nagrodę — pozytywną za pożądane wyniki, negatywną za błędy. Poprzez wiele interakcji uczy się, które działania w jakich sytuacjach prowadzą do największej nagrody, budując strategię — zwaną polityką — bez potrzeby posiadania wstępnie oznakowanego zbioru danych z poprawnymi odpowiedziami.

Historia

Uczenie ze wzmocnieniem ma swoje korzenie w programowaniu dynamicznym Bellmana (1957) i psychologii uczenia się zwierząt. Sutton i Barto sformalizowali nowoczesne ramy w swoim podręczniku z 1998 roku, jednocząc uczenie różnic czasowych, uczenie Q i metody gradientu polityki. Dziedzina przekształciła się w latach 2013–2015, kiedy DQN DeepMind połączył głębokie sieci konwolucyjne z uczeniem Q, aby osiągnąć poziom ludzki w grach Atari, zapoczątkowując głębokie uczenie ze wzmocnieniem jako główny kierunek badań. AlphaGo (2016) i późniejsze prace RLHF nad dużymi modelami językowymi jeszcze bardziej poszerzyły zasięg RL.

Kiedy stosować

Używaj uczenia ze wzmocnieniem, gdy zadanie polega na podejmowaniu sekwencyjnych decyzji z opóźnionymi nagrodami i bez oznakowanych danych treningowych: gry, sterowanie robotami, harmonogramowanie zasobów, sekwencjonowanie rekomendacji lub dostrajanie modeli językowych za pomocą informacji zwrotnej od ludzi (RLHF). RL jest odpowiednie, gdy środowisko można tanio symulować, a agent może wielokrotnie wchodzić w interakcję. NIE używaj RL, gdy problem można rozwiązać za pomocą podejścia nadzorowanego lub samonadzorowanego — RL jest nieefektywne pod względem liczby próbek i niestabilne; gdy funkcja nagrody jest trudna do określenia; gdy interakcje z rzeczywistym środowiskiem są kosztowne lub niebezpieczne bez symulatora; lub gdy zbiór danych jest statyczny i ustalony (używaj RL offline z ostrożnością).

Ograniczenia i uwagi

  • Niezwykle nieefektywne pod względem liczby próbek: może wymagać milionów interakcji ze środowiskiem do zbieżności.
  • Trening jest często niestabilny i wrażliwy na hiperparametry, formę nagrody i ziarna losowe.
  • Projektowanie funkcji nagrody jest trudne; źle określone nagrody powodują niezamierzoną optymalizację (hakowanie nagrody).
  • Generalizacja do nieznanych stanów lub środowisk nie jest gwarantowana.
  • Wdrożenie w świecie rzeczywistym jest ryzykowne bez obszernej symulacji; eksploracja może prowadzić do niebezpiecznych działań.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uczy się bezpośrednio z interakcji bez oznakowanych danych, co czyni go stosowalnym tam, gdzie adnotacja jest niemożliwa.
  • Zdolny do odkrywania strategii przewyższających ludzkie w złożonych zadaniach sekwencyjnych (gry, robotyka, harmonogramowanie).
  • Naturalnie modeluje planowanie długoterminowe i przypisywanie zasług czasowych.
  • Skaluje się do przestrzeni stanów o wysokiej wymiarowości (piksele, tekst) w połączeniu z głębokimi sieciami neuronowymi.
  • RLHF umożliwia dostosowanie dużych modeli językowych do ludzkich preferencji.

Zastosowania

  • Gry i strategie: Atari, Go, szachy, StarCraft na poziomach przewyższających ludzkie.
  • Robotyka: lokomocja, manipulacja i precyzyjne sterowanie ręką.
  • Dostosowanie dużych modeli językowych za pomocą uczenia ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF).
  • Harmonogramowanie zasobów i sieci, optymalizacja chłodzenia centrów danych.
  • Spersonalizowane systemy rekomendacji modelujące długoterminowe zaangażowanie użytkownika.
  • Symulacja autonomicznych pojazdów i sterowanie sygnalizacją świetlną.

Jak to działa

Jak to działa

1

Na każdym kroku czasowym agent obserwuje bieżący stan środowiska i wybiera działanie zgodnie ze swoją aktualną polityką. Środowisko przechodzi do nowego stanu i emituje skalarną nagrodę. Ten cykl obserwacja-działanie-nagroda powtarza się, generując trajektorię doświadczenia, która jest wykorzystywana do poprawy polityki.

2

Celem agenta jest maksymalizacja zdyskontowanej skumulowanej nagrody G_t, która sumuje wszystkie przyszłe nagrody ważone współczynnikiem dyskontującym gamma między 0 a 1. Gamma bliska 1 sprawia, że agent jest dalekowzroczny; mała gamma sprawia, że skupia się na natychmiastowych nagrodach. Staranna forma nagrody jest kluczowa, ponieważ agent optymalizuje każdy otrzymany sygnał.

Wzór
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

Polityka pi mapuje stany na działania (lub prawdopodobieństwa działań). Może być reprezentowana jako tabela przeglądowa dla małych dyskretnych problemów lub jako głęboka sieć neuronowa — agent głębokiego RL — dla stanów o wysokiej wymiarowości, takich jak obrazy czy tekst. Polityka jest tym, czego uczy się agent i ostatecznie tym, co jest wdrażane.

Wzór
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Funkcje wartości szacują, jak dobry jest stan (lub para stan-działanie) w ramach danej polityki. Wartość stanu V(s) to oczekiwana skumulowana nagroda od stanu s wzwyż. Funkcje wartości akcji Q(s, a) rozszerzają to na konkretne działania. Te szacunki kierują poprawą polityki w metodach takich jak uczenie Q, SARSA i algorytmy aktora-krytyka.

Wzór
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

Agent aktualizuje swoją politykę, wykorzystując zebrane doświadczenie. Metody oparte na wartościach (np. DQN) wyprowadzają politykę niejawnie z wartości Q; metody gradientu polityki (np. REINFORCE, PPO) bezpośrednio dostosowują parametry polityki, aby zwiększyć prawdopodobieństwo trajektorii o wysokiej nagrodzie. Większość nowoczesnych algorytmów łączy oba podejścia w architekturach aktora-krytyka.

Częste pułapki

  • Określenie funkcji nagrody, która jest łatwa do optymalizacji, ale niezgodna z prawdziwym celem (hakowanie nagrody).
  • Pominięcie dobrze dostrojonego środowiska symulacyjnego i przejście bezpośrednio do rzeczywistego sprzętu, co prowadzi do kosztownych awarii.
  • Wybieranie RL, gdy podejście nadzorowane lub uczenie przez imitację byłoby znacznie bardziej efektywne pod względem liczby próbek.
  • Ignorowanie powtarzalności: wyniki RL znacznie różnią się w zależności od ziaren losowych; zawsze zgłaszaj wiele przebiegów.
  • Traktowanie krzywej treningowej z jednego przebiegu jako dowodu zbieżności bez odcinków ewaluacyjnych z wyłączonymi danymi.

Najczęściej zadawane pytania

Co odróżnia uczenie ze wzmocnieniem od uczenia nadzorowanego?

Uczenie nadzorowane wymaga oznakowanych par wejście-wyjście i uczy się stałego odwzorowania. RL nie wymaga etykiet; zamiast tego agent otrzymuje sygnały nagrody po wykonaniu działań i musi odkryć, co robić, poprzez metodę prób i błędów, co czyni go odpowiednim do problemów sekwencyjnego podejmowania decyzji, gdzie poprawne działanie nie jest znane z góry.

Jaka jest różnica między uczeniem ze wzmocnieniem bez modelu a z modelem?

RL bez modelu (np. DQN, PPO) uczy się polityk lub funkcji wartości bezpośrednio z doświadczenia, bez jawnego modelu dynamiki środowiska. RL z modelem uczy się lub otrzymuje model przejścia i wykorzystuje go do planowania. Metody z modelem zazwyczaj są bardziej efektywne pod względem liczby próbek, ale wymagają dokładnego modelu, który może być trudny do nauczenia.

Jak wybrać między metodą opartą na wartościach a metodą gradientu polityki?

Metody oparte na wartościach, takie jak DQN, dobrze sprawdzają się w dyskretnych przestrzeniach akcji i są stosunkowo stabilne. Metody gradientu polityki (REINFORCE, PPO, SAC) naturalnie obsługują ciągłe przestrzenie akcji i mogą uczyć się stochastycznych polityk. Metody aktora-krytyka łączą oba podejścia. W większości nowoczesnych zastosowań PPO lub SAC są bezpiecznymi punktami wyjścia.

Ile interakcji ze środowiskiem zazwyczaj potrzebuje RL?

RL jest notorycznie głodne próbek. Proste zadania tabelaryczne mogą zbiec się w tysiącach kroków; Atari DQN wymagało dziesiątek milionów klatek; złożone zadania robotyczne mogą wymagać setek milionów kroków symulacji. To sprawia, że szybki symulator jest niezbędny i wyklucza RL dla wielu problemów w świecie rzeczywistym z kosztownymi interakcjami.

Czym jest RLHF i dlaczego jest ważne?

Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF) trenuje model nagrody na podstawie porównań preferencji ludzkich, a następnie dostraja model językowy za pomocą RL, aby zmaksymalizować tę nauczoną nagrodę. Jest to dominująca technika dostosowywania dużych modeli językowych do ludzkich wartości i jest kluczowa dla modeli takich jak InstructGPT i Claude.

Pokrewne metody

Źródła

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Skopiowano.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    Otwórz odnośnik DOI
    Skopiowano.