İçeriğe atla
Arama sonuçlarına dön

Politika Gradyan Yöntemleri

Ortaya koyan
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Yıl
1992
Tür
Policy-based reinforcement learning
Aile
Reinforcement learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Politika gradyan yöntemleri, eylem-değerleri öğrenip açgözlü davranmak yerine, parametrelendirilmiş bir politikayı doğrudan beklenen getirinin gradyan yükselişiyle optimize eden pekiştirmeli öğrenme algoritmalarıdır.

Ronald Williams'ın 1992 REINFORCE algoritması ve Sutton ile meslektaşlarının (2000) politika gradyan teoremi üzerine kurulan bu yöntemler, stokastik ve sürekli eylem uzaylarını doğal olarak ele alır ve modern aktör-kritik ile derin pekiştirmeli öğrenme algoritmalarının temelini oluşturur.

Yöntemin mantığı

Q-öğrenme gibi değere dayalı yöntemler her eylemin ne kadar iyi olduğunu öğrenir ve ardından en iyisini seçer; politika gradyanları ise bu aracı atlayarak politikayı doğrudan ayarlar. Politika, ayarlanabilir parametrelere sahip eylemler üzerindeki bir olasılık dağılımıdır. Davranıp getiriyi gördükten sonra, yüksek ödüle yol açan eylemleri daha olası, kötü olanları ise daha az olası hale getirmek için parametreleri itersiniz – beklenen ödül üzerinde gradyan yükselişi. Politika, türevlenebilir herhangi bir dağılım olabileceğinden, bu, 'eylemler üzerinden maksimum alma'nın pratik olmadığı sürekli kontrol (örneğin, bir direksiyon açısı) için işe yarar. Bir taban çizgisinin (bir değer tahmini) çıkarılması, gürültülü gradyanı kararlı tutar.

Tarih

Ronald Williams, temel Monte-Karlo politika gradyanı olan REINFORCE'u 1992'de tanıttı. Sutton, McAllester, Singh ve Mansour (2000), fonksiyon yaklaşıklığı ile politika gradyan teoremini kanıtlayarak sinir ağı politikalarını ve aktör-kritik ailesini mümkün kıldı. Bu yaklaşım, on yıllık derin pekiştirmeli öğrenme ilerlemelerine – A3C, TRPO, PPO, DDPG/SAC – öncülük etti ve büyük dil modellerini hizalamak için kullanılan insan geri bildiriminden pekiştirmeli öğrenmenin (RLHF) merkezinde yer alır. Q-öğrenme gibi değere dayalı yöntemlerin politika tabanlı karşılığıdır.

Ne zaman kullanılır?

Eylem uzayının sürekli veya yüksek boyutlu olduğu, stokastik bir politikanın istendiği (keşif, kısmi gözlemlenebilirlik, çoklu ajan) veya bir politikayı uçtan uca bir sinir ağı ile optimize etmek istediğinizde politika gradyan yöntemlerini kullanın – robotik kontrol, sürekli kontrol kıyaslamaları, diyalog/öneri politikaları ve dil modelleri için RLHF'nin temeli olarak. Doğrudan hedefi optimize ederler ve değere dayalı yöntemlerin zorlandığı sürekli eylemleri ele alırlar. Maliyetleri: gradyan tahminleri yüksek varyanslıdır (taban çizgileri/kritikler ile azaltılır), tipik olarak politika üzerinde ve örnek-verimsizdirler, adım büyüklüğü ve ödül ölçeklendirmesine duyarlıdırlar ve yerel optimumlara eğilimlidirler. Eylem uzayının küçük ve ayrık olduğu durumlarda, değere dayalı Q-öğrenme/DQN daha basit ve örnek-verimli olabilir; güven bölgesi varyantları (TRPO/PPO) adım büyüklüğü kararsızlığını giderir.

Sınırlar ve dikkat edilmesi gerekenler

  • Yüksek varyanslı gradyan tahminleri; pratik olmak için taban çizgileri veya kritiklere ihtiyaç duyar.
  • Genellikle politika üzerinde ve politika dışı değer yöntemlerine kıyasla örnek-verimsizdir.
  • Öğrenme oranı, ödül ölçeklendirmesi ve yerel optimumlara yakınsama eğilimi gösterir.
  • Kararlılık özen gerektirir; naif büyük adımlar politikayı çökebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Politikayı doğrudan optimize edin; sürekli ve yüksek boyutlu eylem uzaylarını ele alın.
  • Stokastik politikaları doğal olarak temsil edin, keşif ve kısmi gözlemlenebilirliğe yardımcı olun.
  • Sinir ağı fonksiyon yaklaşıklığı (derin pekiştirmeli öğrenme) ile sorunsuz entegre olun.
  • Modern algoritmaların (A2C/A3C, TRPO, PPO, DDPG) ve RLHF'nin temeli.

Uygulama alanları

  • Robotik ve simüle edilmiş ortamlarda sürekli kontrol.
  • Oyun oynama ve karmaşık sıralı karar verme.
  • Diyalog, öneri ve uyarlanabilir etkileşim politikaları.
  • Dil modelleri için insan geri bildiriminden pekiştirmeli öğrenme (RLHF).
  • Sürekli eylemlere sahip operasyon ve kontrol problemleri.

Nasıl çalışır?

Nasıl çalışır?

1

Amaç, politika π_θ tarafından üretilen yörüngelerin beklenen indirimli getirisini J(θ) maksimize etmektir. Değer yöntemlerinin aksine, optimize edilen nesne doğrudan politikanın parametreleridir ve politika stokastik ve sürekli olabilir.

Formül
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

Politika gradyan teoremi, beklenen getirinin gradyanını, eylemin değerine göre ağırlıklandırılmış skor fonksiyonunun (log-politikanın gradyanı) bir beklentisi olarak ifade eder. Kritik olarak, gradyan çevre dinamiklerini türevlemeyi gerektirmez, bu nedenle örneklenmiş deneyimden tahmin edilebilir.

Formül
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE Monte-Karlo tahminleyicisidir: bir bölümden sonra, her adım için parametreleri, o adımdan elde edilen getiriden bir taban çizgisi çıkarılarak ölçeklendirilmiş log-politika gradyanı boyunca hareket ettirir. Taban çizgisi (genellikle bir durum-değer tahmini), yanlılık eklemeden varyansı azaltır, bu da gürültülü gradyanı kullanılabilir hale getirir.

Formül
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

Aktör-kritik yöntemleri iki parçayı birlikte öğrenir: politika gradyanı ile güncellenen bir aktör (politika) ve ortalamadan ne kadar daha iyi olduğunu tahmin eden bir kritik (bir değer fonksiyonu). Kritik, daha düşük varyanslı bir avantaj tahmini sağlar, bu da daha kararlı, örnek-verimli öğrenme ve A2C/A3C, PPO ve DDPG'nin temelini oluşturur.

Formül
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Sık yapılan hatalar

  • Bir taban çizgisini/kritiği atlamak, gradyanları öğrenmek için çok gürültülü bırakır.
  • Politika dışı verileri düz bir politika içi tahminci ile yeniden kullanmak, gradyanı yanlı hale getirir.
  • Büyük veya ölçeklenmemiş ödüller/adım boyutları kararsız veya çöken politikalara neden olur.
  • Politika erken aşamada neredeyse deterministik hale geldiğinde yetersiz keşif.

Sık sorulan sorular

Politika gradyanları Q-öğrenmeden nasıl farklıdır?

Q-öğrenme eylem-değerlerini öğrenir ve açgözlü davranır; politika gradyanları politikayı doğrudan parametrelendirir ve beklenen getiri üzerinde gradyan yükselişi yoluyla optimize eder. Politika gradyanları sürekli/stokastik eylemleri doğal olarak ele alır ancak daha yüksek varyanslı ve genellikle politika üzerindedir, oysa Q-öğrenme politika dışıdır ve küçük ayrık eylemler için genellikle daha örnek-verimlidir.

Aktör-kritik yöntemi nedir?

Politika gradyanı ile güncellenen bir politika (aktör) ile durumların/eylemlerin ne kadar iyi olduğunu tahmin eden öğrenilmiş bir değer fonksiyonunu (kritik) birleştirir. Kritik, düşük varyanslı bir avantaj sinyali sağlayarak öğrenmeyi stabilize eder ve hızlandırır. A2C/A3C, PPO ve DDPG aktör-kritik algoritmalarıdır.

Politika gradyanları neden bir taban çizgisi kullanır?

Ham gradyan tahmini çok gürültülüdür. Getiriden bir taban çizgisi – tipik olarak bir durum-değer tahmini – çıkarmak, yanlılık eklemeden gradyanın varyansını azaltır, bu da öğrenmeyi çok daha kararlı ve verimli hale getirir. Avantaj fonksiyonu (getiri eksi değer), yaygın tercihtir.

İlgili yöntemler

Kaynaklar

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    DOI kaynağını aç
    Kopyalandı.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Yayın kaynağını aç
    Kopyalandı.