İçeriğe atla
Arama sonuçlarına dön

Pekiştirmeli Öğrenme

Ortaya koyan
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
Yıl
1950s–1998
Tür
Sequential decision-making framework
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Pekiştirmeli Öğrenme (RL), bir ajanın bir ortamla etkileşim kurarak, skaler ödül sinyalleri alarak ve kümülatif gelecek ödülü maksimize etmek için bir politikayı güncelleyerek sıralı kararlar almayı öğrendiği bir çerçevedir.

Gözetimli öğrenmenin aksine, etiketlenmiş örnekler sağlanmaz; ajan optimal davranışı tamamen deneyim ve gecikmeli geri bildirim yoluyla keşfeder.

Yöntemin mantığı

Bir köpeği eğitmek gibi düşünün: her eylemi açıklamazsınız; iyi davranışı ödüllendirirsiniz ve ne yapması gerektiğini kendisinin bulmasına izin verirsiniz. Pekiştirmeli Öğrenme de aynı şekilde çalışır. Bir ajan bir ortamda eylemler dener, ne olduğunu gözlemler ve bir ödül alır — istenen sonuçlar için pozitif, hatalar için negatif. Çok sayıda etkileşim boyunca, doğru cevapların önceden etiketlenmiş bir veri kümesine ihtiyaç duymadan, hangi durumlarda hangi eylemlerin en çok ödüle yol açma eğiliminde olduğunu öğrenir ve bir strateji — politika olarak adlandırılır — oluşturur.

Tarih

Pekiştirmeli Öğrenme, Bellman'ın dinamik programlaması (1957) ve hayvan öğrenme psikolojisi kökenlidir. Sutton ve Barto, 1998 tarihli ders kitaplarında modern çerçeveyi biçimlendirerek zamansal fark öğrenme, Q-öğrenme ve politika gradyanı yöntemlerini birleştirdiler. Alan, 2013-2015 yıllarında DeepMind'ın DQN'sinin derin CNN'leri Q-öğrenme ile birleştirerek insan düzeyinde Atari performansı elde etmesiyle dönüştü ve derin pekiştirmeli öğrenmeyi önemli bir araştırma yönü olarak başlattı. AlphaGo (2016) ve büyük dil modelleri üzerindeki sonraki RLHF çalışmaları, RL'nin erişimini daha da genişletti.

Ne zaman kullanılır?

Görev gecikmeli ödüllere sahip sıralı karar verme ve etiketlenmiş eğitim verisi olmadığında pekiştirmeli öğrenmeyi kullanın: oyun oynama, robotik kontrol, kaynak zamanlama, öneri sıralama veya insan geri bildirimiyle (RLHF) dil modellerini ince ayar yapma. RL, ortam ucuz bir şekilde simüle edilebiliyorsa ve ajan birçok kez etkileşim kurabiliyorsa uygundur. Bir denetimli veya kendi kendine denetimli yaklaşım sorunu çözebiliyorsa RL'yi KULLANMAYIN — RL örnek açısından verimsiz ve kararsızdır; ödül fonksiyonu belirtilmesi zorsa; gerçek ortamla etkileşimler simülatör olmadan pahalı veya tehlikeliyse; veya veri kümesi statik ve sabitse (çevrimdışı RL'yi dikkatle kullanın).

Sınırlar ve dikkat edilmesi gerekenler

  • Son derece örnek açısından verimsizdir: yakınsama için milyonlarca ortam etkileşimi gerektirebilir.
  • Eğitim genellikle kararsızdır ve hiperparametreler, ödül şekillendirme ve rastgele tohumlara duyarlıdır.
  • Ödül fonksiyonu tasarımı zordur; kötü belirtilmiş ödüller istenmeyen optimizasyona (ödül hackleme) neden olur.
  • Görülmeyen durumlara veya ortamlara genelleme garanti edilmez.
  • Kapsamlı simülasyon olmadan gerçek dünya dağıtımı risklidir; keşif tehlikeli eylemlere neden olabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketlenmiş veri olmadan doğrudan etkileşimden öğrenir, bu da etiketlemenin imkansız olduğu durumlarda uygulanabilir olmasını sağlar.
  • Karmaşık sıralı görevlerde (oyunlar, robotik, zamanlama) insanüstü stratejiler keşfetme yeteneği.
  • Uzun vadeli planlama ve zamansal kredi atamasını doğal olarak modeller.
  • Derin sinir ağlarıyla birleştirildiğinde yüksek boyutlu durum alanlarına (piksel, metin) ölçeklenir.
  • RLHF, büyük dil modellerini insan tercihlerine uyumlu hale getirmeyi sağlar.

Uygulama alanları

  • Oyun oynama ve strateji: Atari, Go, satranç, StarCraft insanüstü seviyelerde.
  • Robotik: hareket, manipülasyon ve ustaca el kontrolü.
  • İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) yoluyla büyük dil modeli hizalaması.
  • Kaynak ve ağ zamanlama, veri merkezi soğutma optimizasyonu.
  • Uzun vadeli kullanıcı etkileşimini modelleyen kişiselleştirilmiş öneri sistemleri.
  • Otonom sürüş simülasyonu ve trafik sinyali kontrolü.

Nasıl çalışır?

Nasıl çalışır?

1

Her zaman adımında ajan, ortamın mevcut durumunu gözlemler ve mevcut politikasına göre bir eylem seçer. Ortam yeni bir duruma geçer ve skaler bir ödül verir. Bu gözlem-eylem-ödül döngüsü tekrarlanır ve politikayı iyileştirmek için kullanılan bir deneyim yörüngesi üretir.

2

Ajanın amacı, 0 ile 1 arasındaki bir indirim faktörü gamma ile ağırlıklandırılmış tüm gelecek ödüllerin toplamı olan indirimli kümülatif ödül G_t'yi maksimize etmektir. 1'e yakın bir gamma, ajanı ileri görüşlü yapar; küçük bir gamma ise anlık ödüllere odaklanmasını sağlar. Ajan aldığı sinyali optimize ettiği için dikkatli ödül şekillendirme kritiktir.

Formül
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

Politika pi, durumları eylemlere (veya eylem olasılıklarına) eşler. Küçük ayrık problemler için bir arama tablosu olarak veya görüntüler veya metin gibi yüksek boyutlu durumlar için derin bir sinir ağı — derin bir RL ajanı — olarak temsil edilebilir. Politika, ajanın öğrendiği ve nihayetinde dağıtılan şeydir.

Formül
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

Değer fonksiyonları, belirli bir politika altında bir durumun (veya durum-eylem çiftinin) ne kadar iyi olduğunu tahmin eder. Durum-değeri V(s), s durumundan itibaren beklenen kümülatif ödüldür. Eylem-değeri fonksiyonları Q(s, a), bunu belirli eylemlere genişletir. Bu tahminler, Q-öğrenme, SARSA ve aktör-eleştirmen algoritmaları gibi yöntemlerde politika iyileştirmesine rehberlik eder.

Formül
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

Ajan, toplanan deneyimi kullanarak politikasını günceller. Değer tabanlı yöntemler (örneğin, DQN), politikayı örtük olarak Q-değerlerinden türetir; politika gradyanı yöntemleri (örneğin, REINFORCE, PPO), yüksek ödüllü yörüngelerin olasılığını artırmak için politika parametrelerini doğrudan ayarlar. Modern algoritmaların çoğu, aktör-eleştirmen mimarilerinde her ikisini de birleştirir.

Sık yapılan hatalar

  • Gerçek hedefe uymayan ancak optimize edilmesi kolay bir ödül fonksiyonu belirtme (ödül hackleme).
  • İyi ayarlanmış bir simülasyon ortamını atlayıp doğrudan gerçek donanıma gitmek, maliyetli başarısızlıklara yol açar.
  • Denetimli veya taklit öğrenme yaklaşımının çok daha örnek açısından verimli olacağı durumlarda RL'yi seçmek.
  • Tekrarlanabilirlik yok sayılıyor: RL sonuçları rastgele tohumlara göre önemli ölçüde değişir; her zaman birden fazla çalıştırmayı raporlayın.
  • Yakınsama kanıtı olarak tek bir çalıştırmanın eğitim eğrisini, tutulmuş değerlendirme bölümleri olmadan ele almak.

Sık sorulan sorular

Pekiştirmeli öğrenmeyi gözetimli öğrenmeden ayıran nedir?

Gözetimli öğrenme etiketlenmiş girdi-çıktı çiftleri gerektirir ve sabit bir eşleme öğrenir. RL etiket gerektirmez; bunun yerine ajan eylemlerden sonra ödül sinyalleri alır ve deneme yanılma yoluyla ne yapması gerektiğini keşfetmelidir, bu da doğru eylemin önceden bilinmediği sıralı karar problemleri için uygun hale getirir.

Model-tabanlı ve model-serbest RL arasındaki fark nedir?

Model-serbest RL (örneğin, DQN, PPO), ortam dinamiklerinin açık bir modeli olmadan deneyimden doğrudan politikaları veya değer fonksiyonlarını öğrenir. Model-tabanlı RL, bir geçiş modeli öğrenir veya verilir ve planlama için kullanır. Model-tabanlı yöntemler genellikle daha örnek açısından verimlidir ancak öğrenmesi zor olabilen doğru bir model gerektirir.

Değer tabanlı ve politika gradyanı yöntemi arasında nasıl seçim yapmalıyım?

DQN gibi değer tabanlı yöntemler ayrık eylem alanlarında iyi çalışır ve nispeten kararlıdır. Politika gradyanı yöntemleri (REINFORCE, PPO, SAC) sürekli eylem alanlarını doğal olarak işler ve stokastik politikalar öğrenebilir. Aktör-eleştirmen yöntemleri her ikisini de birleştirir. Çoğu modern uygulama için PPO veya SAC güvenli başlangıç noktalarıdır.

RL tipik olarak ne kadar ortam etkileşimi gerektirir?

RL, bilindiği gibi örnek açlığı çeker. Basit tablosal görevler binlerce adımda yakınsayabilir; Atari DQN on milyonlarca kare gerektirdi; karmaşık robotik görevler yüz milyonlarca simülasyon adımı gerektirebilir. Bu, hızlı bir simülatörü zorunlu kılar ve pahalı etkileşimlere sahip birçok gerçek dünya problemi için RL'yi dışlar.

RLHF nedir ve neden önemlidir?

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme, insan tercih karşılaştırmalarından bir ödül modeli eğitir ve ardından öğrenilen ödülü maksimize etmek için RL ile bir dil modelini ince ayar yapar. Büyük dil modellerini insan değerleriyle uyumlu hale getirmek için baskın tekniktir ve InstructGPT ve Claude gibi modellerin merkezindedir.

İlgili yöntemler

Kaynaklar

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Kopyalandı.
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    DOI kaynağını aç
    Kopyalandı.