Uczenie Q
- Autor metody
- Christopher Watkins & Peter Dayan
- Rok
- 1992
- Typ
- Model-free reinforcement-learning control algorithm
- Rodzina
- Reinforcement learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Uczenie Q, wprowadzone przez Christophera Watkinsa i Petera Dayana w 1992 roku, jest algorytmem uczenia ze wzmocnieniem bez modelu, który uczy się wartości podejmowania każdej akcji w każdym stanie — funkcji Q — wyłącznie na podstawie doświadczenia, bez modelu środowiska.
Jest to algorytm off-policy: uczy się optymalnych wartości akcji, podążając za eksploracyjną polityką zachowania, i w standardowych warunkach dowodnie zbiega do optymalnej polityki.
Intuicja stojąca za metodą
Agent uczący się metodą prób i błędów musi wiedzieć, dla każdej sytuacji, jak dobra jest każda możliwa akcja w dłuższej perspektywie. Uczenie Q utrzymuje dokładnie to: tabelę (lub funkcję) wartości Q szacujących całkowitą przyszłą nagrodę za podjęcie akcji w danym stanie i dalsze optymalne działanie. Za każdym razem, gdy agent działa, obserwuje nagrodę i trafia do nowego stanu, przybliża wartość Q do tego, czego właśnie doświadczył, plus najlepszego, co jego zdaniem może zrobić dalej. Co kluczowe, aktualizuje się w kierunku NAJLEPSZEJ następnej akcji, niezależnie od tego, co faktycznie zrobił dalej — dzięki czemu może swobodnie eksplorować, jednocześnie ucząc się optymalnej strategii.
Historia
Christopher Watkins wprowadził uczenie Q w swojej pracy doktorskiej z 1989 roku, a Watkins i Dayan (1992) przedstawili dowód zbieżności, ustanawiając je jako kamień węgielny uczenia ze wzmocnieniem. Uogólnia uczenie różnic czasowych na sterowanie i stanowi podstawę późniejszych przełomów — w szczególności Deep Q-Networks (Mnih et al., 2015), które połączyły uczenie Q z głębokimi sieciami do gry w gry Atari na podstawie pikseli. Jest ono kanonicznie omawiane w podręczniku Suttona i Barto i pozostaje domyślnym punktem wyjścia dla uczenia ze wzmocnieniem opartym na wartościach.
Kiedy stosować
Używaj uczenia Q do problemów sekwencyjnego podejmowania decyzji ujętych jako proces decyzyjny Markowa, w których można próbować tranzycji i nagród, ale nie ma się modelu dynamiki (lub jest on zawodny) — sterowanie, gry, routing, harmonogramowanie i systemy adaptacyjne. Tablicowe uczenie Q nadaje się do małych, dyskretnych przestrzeni stanów i akcji i zbiega do optimum przy wystarczającej eksploracji i malejącej wielkości kroku. Dla dużych lub ciągłych przestrzeni tabela jest zastępowana przez aproksymator funkcji (Deep Q-Networks). Zakłada własność Markowa i stacjonarne środowisko, może być nieefektywne pod względem próbkowania, a operator max wprowadza optymistyczne (maksymalizujące) odchylenie, które jest adresowane przez warianty, takie jak Double Q-learning. Gdy potrzebna jest stochastyczna lub ciągłoc-akcyjna polityka, alternatywą są metody gradientu polityki.
Ograniczenia i uwagi
- Forma tablicowa nie skaluje się do dużych lub ciągłych przestrzeni stanów/akcji.
- Nieefektywny pod względem próbkowania; może potrzebować wielu epizodów do zbieżności.
- Odchylenie maksymalizacyjne (nadmierne oszacowanie) od operatora max; łagodzone przez Double Q-learning.
- Zakłada (stacjonarny) proces decyzyjny Markowa; ma trudności w warunkach częściowej obserwowalności lub dryfu.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Bez modelu: nie wymaga modelu tranzycji/nagrody, tylko próbkowanego doświadczenia.
- Off-policy: uczy się optymalnej polityki podczas eksploracji z inną polityką.
- Dowodnie zbiega do optymalnych wartości akcji w standardowych warunkach.
- Prosty, fundamentalny i stanowi podstawę dla Deep Q-Networks i wielu rozszerzeń.
Zastosowania
- Gry i symulowane zadania sterowania.
- Nawigacja robotów i sterowanie adaptacyjne.
- Dynamiczny routing, harmonogramowanie i alokacja zasobów.
- Polityki rekomendacji i interakcji adaptacyjnych.
- Metoda bazowa oparta na wartościach poprzedzająca Deep Q-Networks.
Jak to działa
Jak to działa
Q(s, a) szacuje oczekiwaną zdyskontowaną sumę przyszłych nagród z podjęcia akcji a w stanie s, a następnie optymalnego działania. Współczynnik dyskontowania γ nadaje większą wagę nagrodom bliskim niż odległym. Uczenie Q dla wszystkich par stan-akcja jest równoważne rozwiązaniu problemu sterowania.
Wzór
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]Po każdej tranzycji (stan s, akcja a, nagroda r, następny stan s') uczenie Q aktualizuje Q(s, a) o krok α w kierunku celu różnicy czasowej r + γ·max dla następnych akcji z Q(s', a'). 'Max' sprawia, że jest to algorytm off-policy i kieruje uczenie na optymalną wartość, niezależnie od faktycznie podjętej następnej akcji.
Wzór
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]Aby zebrać doświadczenie, agent działa zgodnie z polityką eksploracji, zazwyczaj ε-zachłanną: zazwyczaj wybiera obecną najlepszą akcję, ale z prawdopodobieństwem ε wybiera losową. Eksploracja zapewnia, że wszystkie pary stan-akcja są próbowane, co jest wymagane przez gwarancję zbieżności; ε zazwyczaj maleje w czasie.
Wzór
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}Gdy Q zbiegnie do optymalnych wartości akcji Q*, optymalna polityka polega po prostu na podjęciu w każdym stanie akcji o najwyższej wartości Q. W praktyce polityka zachłanna względem bieżącego Q jest wyodrębniana na końcu (lub używana podczas wdrażania).
Wzór
\pi^*(s) = \arg\max_a Q^*(s,a)
Częste pułapki
- Niewystarczająca eksploracja (ε zbyt małe/zbyt szybko malejące), pozostawiająca optimum niepoznane.
- Słaby harmonogram szybkości uczenia, powodujący dywergencję lub boleśnie powolne uczenie.
- Zastosowanie tablicowego uczenia Q do dużych przestrzeni zamiast aproksymatora funkcji.
- Ignorowanie odchylenia nadmiernego oszacowania w problemach stochastycznych, gdzie pomaga Double Q-learning.
Najczęściej zadawane pytania
Co oznacza 'off-policy' w uczeniu Q?
Oznacza to, że uczenie Q uczy się wartości optymalnej polityki, podczas gdy agent podąża za inną (eksploracyjną) polityką zachowania. Cele aktualizacji to r + γ·max Q(s', a') — najlepsza następna akcja — a nie faktycznie podjęta akcja, więc eksploracja nie wprowadza odchylenia do nauczonego optimum.
Jak uczenie Q ma się do Deep Q-Networks (DQN)?
DQN zastępuje tabelę Q głęboką siecią neuronową, która aproksymuje Q(s, a), umożliwiając uczenie Q w dużych lub ciągłych przestrzeniach stanów (np. pikselowych). Dodaje sztuczki stabilizujące — odtwarzanie doświadczenia i sieć docelową — ale podstawowa zasada uczenia to aktualizacja różnicy czasowej uczenia Q.
Dlaczego uczenie Q nadmiernie szacuje wartości?
Operator max w aktualizacji ma tendencję do wybierania nadmiernie optymistycznych oszacowań, co zawyża wartości Q, zwłaszcza przy szumnych nagrodach. Double Q-learning zmniejsza to poprzez rozdzielenie wyboru akcji od oceny wartości przy użyciu dwóch estymatorów, co daje mniej obciążone i często lepsze polityki.
Pokrewne metody
Źródła
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
Otwórz odnośnik DOISkopiowano.Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Skopiowano.