Przejdź do treści
Wróć do wyników wyszukiwania

Metody gradientu polityki

Autor metody
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Rok
1992
Typ
Policy-based reinforcement learning
Rodzina
Reinforcement learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Metody gradientu polityki to algorytmy uczenia ze wzmocnieniem, które optymalizują sparametryzowaną politykę bezpośrednio poprzez wznoszenie gradientowe względem oczekiwanego zwrotu, zamiast uczyć się wartości akcji i działać zachłannie.

Oparte na algorytmie REINFORCE Ronalda Williamsa z 1992 roku i twierdzeniu o gradiencie polityki Suttona i współpracowników (2000), naturalnie obsługują stochastyczne i ciągłe przestrzenie akcji oraz stanowią podstawę nowoczesnych algorytmów typu aktor-krytyk i głębokiego uczenia ze wzmocnieniem.

Intuicja stojąca za metodą

Metody oparte na wartościach, takie jak Q-learning, uczą, jak dobra jest każda akcja, a następnie wybierają najlepszą; gradienty polityki pomijają pośrednika i dostosowują samą politykę. Polityka jest rozkładem prawdopodobieństwa akcji z parametrami, które można dostroić. Po wykonaniu akcji i zaobserwowaniu zwrotu, parametry są przesuwane tak, aby akcje prowadzące do wysokiej nagrody stawały się bardziej prawdopodobne, a słabe mniej prawdopodobne — wznoszenie gradientowe względem oczekiwanej nagrody. Ponieważ polityka może być dowolnym różniczkowalnym rozkładem, działa to w przypadku ciągłych sterowań (np. kąta skrętu), gdzie 'maksymalizacja po akcjach' jest niepraktyczna. Odejmując bazę (oszacowanie wartości), utrzymuje się stabilność szumiącego gradientu.

Historia

Ronald Williams wprowadził REINFORCE, podstawowy gradient polityki Monte Carlo, w 1992 roku. Sutton, McAllester, Singh i Mansour (2000) udowodnili twierdzenie o gradiencie polityki z aproksymacją funkcji, umożliwiając polityki oparte na sieciach neuronowych i rodzinę aktor-krytyk. Podejście to napędzało dekadę postępów w głębokim uczeniu ze wzmocnieniem — A3C, TRPO, PPO, DDPG/SAC — i stanowi klucz do uczenia ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF) używanej do dostosowywania dużych modeli językowych. Jest to odpowiednik oparty na polityce dla metod opartych na wartościach, takich jak Q-learning.

Kiedy stosować

Stosuj metody gradientu polityki, gdy przestrzeń akcji jest ciągła lub wysokowymiarowa, gdy pożądana jest polityka stochastyczna (eksploracja, częściowa obserwowalność, agenci wieloosobowi) lub gdy chcesz optymalizować politykę end-to-end za pomocą sieci neuronowej — sterowanie robotyką, benchmarki sterowania ciągłego, polityki dialogowe/rekomendacyjne oraz jako podstawę RLHF dla modeli językowych. Bezpośrednio optymalizują cel i obsługują akcje ciągłe, z którymi metody oparte na wartościach mają problemy. Koszty: estymaty gradientu mają wysoką wariancję (łagodzoną przez bazy/krytyków), są zazwyczaj na-polityce i nieefektywne pod względem próbek, wrażliwe na wielkość kroku i skalowanie nagród, a także podatne na lokalne optima. Gdy przestrzeń akcji jest mała i dyskretna, metody oparte na wartościach Q-learning/DQN mogą być prostsze i bardziej efektywne pod względem próbek; warianty z regionem zaufania (TRPO/PPO) rozwiązują problem niestabilności wielkości kroku.

Ograniczenia i uwagi

  • Estymaty gradientu o wysokiej wariancji; wymagają baz lub krytyków, aby były praktyczne.
  • Zazwyczaj na-polityce i nieefektywne pod względem próbek w porównaniu z metodami wartości poza-polityką.
  • Wrażliwość na współczynnik uczenia, skalowanie nagród i możliwość zbieżności do lokalnych optimów.
  • Stabilność wymaga ostrożności; naiwne duże kroki mogą spowodować załamanie polityki.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Bezpośrednia optymalizacja polityki; obsługa ciągłych i wysokowymiarowych przestrzeni akcji.
  • Naturalne reprezentowanie polityk stochastycznych, wspomaganie eksploracji i częściowej obserwowalności.
  • Bezproblemowa integracja z aproksymacją funkcji za pomocą sieci neuronowych (głębokie uczenie ze wzmocnieniem).
  • Podstawa nowoczesnych algorytmów (A2C/A3C, TRPO, PPO, DDPG) i RLHF.

Zastosowania

  • Sterowanie ciągłe w robotyce i symulowanych środowiskach.
  • Gry i złożone sekwencyjne podejmowanie decyzji.
  • Polityki dialogowe, rekomendacyjne i adaptacyjnej interakcji.
  • Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF) dla modeli językowych.
  • Problemy operacyjne i sterowania z akcjami ciągłymi.

Jak to działa

Jak to działa

1

Celem jest maksymalizacja J(θ), czyli oczekiwanego zdyskontowanego zwrotu z trajektorii generowanych przez politykę π_θ. W przeciwieństwie do metod wartości, optymalizowanym obiektem są bezpośrednio parametry polityki, a polityka może być stochastyczna i ciągła.

Wzór
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

Twierdzenie o gradiencie polityki wyraża gradient oczekiwanego zwrotu jako wartość oczekiwaną funkcji wyniku (gradientu logarytmu polityki) ważoną wartością akcji. Co kluczowe, gradient nie wymaga różniczkowania dynamiki środowiska, więc można go oszacować na podstawie próbnego doświadczenia.

Wzór
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE jest estymatorem Monte Carlo: po epizodzie, dla każdego kroku przesuwa parametry wzdłuż gradientu logarytmu polityki, skalowanego przez zwrot z tego kroku pomniejszony o bazę. Baza (często estymatę wartości stanu) redukuje wariancję bez dodawania obciążenia, co czyni szumiący gradient użytecznym.

Wzór
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

Metody aktor-krytyk uczą dwóch rzeczy jednocześnie: aktora (politykę) aktualizowanego przez gradient polityki i krytyka (funkcję wartości), który dostarcza oszacowanie przewagi (o ile lepsza jest akcja od średniej) o niskiej wariancji. Estymaty krytyka oparte na bootstrapie zastępują zwroty Monte Carlo o wysokiej wariancji, prowadząc do bardziej stabilnego i efektywnego pod względem próbek uczenia się oraz stanowią podstawę dla A2C/A3C, PPO i DDPG.

Wzór
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Częste pułapki

  • Pominięcie bazy/krytyka, co powoduje, że gradienty są zbyt szumiące, aby można było się uczyć.
  • Ponowne wykorzystanie danych poza-polityką za pomocą prostego estymatora na-polityce, co powoduje obciążenie gradientu.
  • Duże lub nieskalowane nagrody/wielkości kroków powodujące niestabilne lub załamujące się polityki.
  • Niewystarczająca eksploracja, gdy polityka przedwcześnie staje się prawie deterministyczna.

Najczęściej zadawane pytania

Czym metody gradientu polityki różnią się od Q-learningu?

Q-learning uczy wartości akcji i działa zachłannie; metody gradientu polityki parametryzują i optymalizują politykę bezpośrednio poprzez wznoszenie gradientowe względem oczekiwanego zwrotu. Metody gradientu polityki naturalnie obsługują akcje ciągłe/stochastyczne, ale mają wyższą wariancję i są zazwyczaj na-polityce, podczas gdy Q-learning jest poza-polityką i często bardziej efektywny pod względem próbek dla małych akcji dyskretnych.

Czym jest metoda aktor-krytyk?

Łączy ona politykę (aktora), aktualizowaną przez gradient polityki, z nauczoną funkcją wartości (krytykiem), która szacuje, jak dobre są stany/akcje. Krytyk dostarcza sygnał przewagi o niskiej wariancji, stabilizując i przyspieszając uczenie. A2C/A3C, PPO i DDPG to algorytmy aktor-krytyk.

Dlaczego metody gradientu polityki używają bazy?

Surowy estymat gradientu jest bardzo szumiący. Odejmując bazę — zazwyczaj estymatę wartości stanu — od zwrotu, redukuje się wariancję gradientu bez wprowadzania obciążenia, co sprawia, że uczenie jest znacznie bardziej stabilne i efektywne. Funkcja przewagi (zwrot minus wartość) jest powszechnym wyborem.

Pokrewne metody

Źródła

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Otwórz odnośnik do publikacji
    Skopiowano.