Przejdź do treści
Wróć do wyników wyszukiwania

Uczenie Q

Autor metody
Christopher Watkins & Peter Dayan
Rok
1992
Typ
Model-free reinforcement-learning control algorithm
Rodzina
Reinforcement learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Uczenie Q, wprowadzone przez Christophera Watkinsa i Petera Dayana w 1992 roku, jest algorytmem uczenia ze wzmocnieniem bez modelu, który uczy się wartości podejmowania każdej akcji w każdym stanie — funkcji Q — wyłącznie na podstawie doświadczenia, bez modelu środowiska.

Jest to algorytm off-policy: uczy się optymalnych wartości akcji, podążając za eksploracyjną polityką zachowania, i w standardowych warunkach dowodnie zbiega do optymalnej polityki.

Intuicja stojąca za metodą

Agent uczący się metodą prób i błędów musi wiedzieć, dla każdej sytuacji, jak dobra jest każda możliwa akcja w dłuższej perspektywie. Uczenie Q utrzymuje dokładnie to: tabelę (lub funkcję) wartości Q szacujących całkowitą przyszłą nagrodę za podjęcie akcji w danym stanie i dalsze optymalne działanie. Za każdym razem, gdy agent działa, obserwuje nagrodę i trafia do nowego stanu, przybliża wartość Q do tego, czego właśnie doświadczył, plus najlepszego, co jego zdaniem może zrobić dalej. Co kluczowe, aktualizuje się w kierunku NAJLEPSZEJ następnej akcji, niezależnie od tego, co faktycznie zrobił dalej — dzięki czemu może swobodnie eksplorować, jednocześnie ucząc się optymalnej strategii.

Historia

Christopher Watkins wprowadził uczenie Q w swojej pracy doktorskiej z 1989 roku, a Watkins i Dayan (1992) przedstawili dowód zbieżności, ustanawiając je jako kamień węgielny uczenia ze wzmocnieniem. Uogólnia uczenie różnic czasowych na sterowanie i stanowi podstawę późniejszych przełomów — w szczególności Deep Q-Networks (Mnih et al., 2015), które połączyły uczenie Q z głębokimi sieciami do gry w gry Atari na podstawie pikseli. Jest ono kanonicznie omawiane w podręczniku Suttona i Barto i pozostaje domyślnym punktem wyjścia dla uczenia ze wzmocnieniem opartym na wartościach.

Kiedy stosować

Używaj uczenia Q do problemów sekwencyjnego podejmowania decyzji ujętych jako proces decyzyjny Markowa, w których można próbować tranzycji i nagród, ale nie ma się modelu dynamiki (lub jest on zawodny) — sterowanie, gry, routing, harmonogramowanie i systemy adaptacyjne. Tablicowe uczenie Q nadaje się do małych, dyskretnych przestrzeni stanów i akcji i zbiega do optimum przy wystarczającej eksploracji i malejącej wielkości kroku. Dla dużych lub ciągłych przestrzeni tabela jest zastępowana przez aproksymator funkcji (Deep Q-Networks). Zakłada własność Markowa i stacjonarne środowisko, może być nieefektywne pod względem próbkowania, a operator max wprowadza optymistyczne (maksymalizujące) odchylenie, które jest adresowane przez warianty, takie jak Double Q-learning. Gdy potrzebna jest stochastyczna lub ciągłoc-akcyjna polityka, alternatywą są metody gradientu polityki.

Ograniczenia i uwagi

  • Forma tablicowa nie skaluje się do dużych lub ciągłych przestrzeni stanów/akcji.
  • Nieefektywny pod względem próbkowania; może potrzebować wielu epizodów do zbieżności.
  • Odchylenie maksymalizacyjne (nadmierne oszacowanie) od operatora max; łagodzone przez Double Q-learning.
  • Zakłada (stacjonarny) proces decyzyjny Markowa; ma trudności w warunkach częściowej obserwowalności lub dryfu.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Bez modelu: nie wymaga modelu tranzycji/nagrody, tylko próbkowanego doświadczenia.
  • Off-policy: uczy się optymalnej polityki podczas eksploracji z inną polityką.
  • Dowodnie zbiega do optymalnych wartości akcji w standardowych warunkach.
  • Prosty, fundamentalny i stanowi podstawę dla Deep Q-Networks i wielu rozszerzeń.

Zastosowania

  • Gry i symulowane zadania sterowania.
  • Nawigacja robotów i sterowanie adaptacyjne.
  • Dynamiczny routing, harmonogramowanie i alokacja zasobów.
  • Polityki rekomendacji i interakcji adaptacyjnych.
  • Metoda bazowa oparta na wartościach poprzedzająca Deep Q-Networks.

Jak to działa

Jak to działa

1

Q(s, a) szacuje oczekiwaną zdyskontowaną sumę przyszłych nagród z podjęcia akcji a w stanie s, a następnie optymalnego działania. Współczynnik dyskontowania γ nadaje większą wagę nagrodom bliskim niż odległym. Uczenie Q dla wszystkich par stan-akcja jest równoważne rozwiązaniu problemu sterowania.

Wzór
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

Po każdej tranzycji (stan s, akcja a, nagroda r, następny stan s') uczenie Q aktualizuje Q(s, a) o krok α w kierunku celu różnicy czasowej r + γ·max dla następnych akcji z Q(s', a'). 'Max' sprawia, że jest to algorytm off-policy i kieruje uczenie na optymalną wartość, niezależnie od faktycznie podjętej następnej akcji.

Wzór
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

Aby zebrać doświadczenie, agent działa zgodnie z polityką eksploracji, zazwyczaj ε-zachłanną: zazwyczaj wybiera obecną najlepszą akcję, ale z prawdopodobieństwem ε wybiera losową. Eksploracja zapewnia, że wszystkie pary stan-akcja są próbowane, co jest wymagane przez gwarancję zbieżności; ε zazwyczaj maleje w czasie.

Wzór
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

Gdy Q zbiegnie do optymalnych wartości akcji Q*, optymalna polityka polega po prostu na podjęciu w każdym stanie akcji o najwyższej wartości Q. W praktyce polityka zachłanna względem bieżącego Q jest wyodrębniana na końcu (lub używana podczas wdrażania).

Wzór
\pi^*(s) = \arg\max_a Q^*(s,a)

Częste pułapki

  • Niewystarczająca eksploracja (ε zbyt małe/zbyt szybko malejące), pozostawiająca optimum niepoznane.
  • Słaby harmonogram szybkości uczenia, powodujący dywergencję lub boleśnie powolne uczenie.
  • Zastosowanie tablicowego uczenia Q do dużych przestrzeni zamiast aproksymatora funkcji.
  • Ignorowanie odchylenia nadmiernego oszacowania w problemach stochastycznych, gdzie pomaga Double Q-learning.

Najczęściej zadawane pytania

Co oznacza 'off-policy' w uczeniu Q?

Oznacza to, że uczenie Q uczy się wartości optymalnej polityki, podczas gdy agent podąża za inną (eksploracyjną) polityką zachowania. Cele aktualizacji to r + γ·max Q(s', a') — najlepsza następna akcja — a nie faktycznie podjęta akcja, więc eksploracja nie wprowadza odchylenia do nauczonego optimum.

Jak uczenie Q ma się do Deep Q-Networks (DQN)?

DQN zastępuje tabelę Q głęboką siecią neuronową, która aproksymuje Q(s, a), umożliwiając uczenie Q w dużych lub ciągłych przestrzeniach stanów (np. pikselowych). Dodaje sztuczki stabilizujące — odtwarzanie doświadczenia i sieć docelową — ale podstawowa zasada uczenia to aktualizacja różnicy czasowej uczenia Q.

Dlaczego uczenie Q nadmiernie szacuje wartości?

Operator max w aktualizacji ma tendencję do wybierania nadmiernie optymistycznych oszacowań, co zawyża wartości Q, zwłaszcza przy szumnych nagrodach. Double Q-learning zmniejsza to poprzez rozdzielenie wyboru akcji od oceny wartości przy użyciu dwóch estymatorów, co daje mniej obciążone i często lepsze polityki.

Pokrewne metody

Źródła

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Skopiowano.