İçeriğe atla
Arama sonuçlarına dön

Q-Öğrenme

Ortaya koyan
Christopher Watkins & Peter Dayan
Yıl
1992
Tür
Model-free reinforcement-learning control algorithm
Aile
Reinforcement learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Christopher Watkins ve Peter Dayan tarafından 1992'de tanıtılan Q-öğrenme, çevrenin bir modeline sahip olmadan, yalnızca deneyimden yola çıkarak her durumda her eylemi gerçekleştirmenin değerini — Q-fonksiyonunu — öğrenen model-serbest bir pekiştirmeli öğrenme algoritmasıdır.

Politika dışıdır: keşifsel bir davranış politikası izlerken optimal eylem değerlerini öğrenir ve standart koşullar altında optimal politikaya kanıtlanabilir şekilde yakınsar.

Yöntemin mantığı

Deneme yanılma yoluyla öğrenen bir ajanın, her durum için olası her eylemin uzun vadede ne kadar iyi olduğunu bilmesi gerekir. Q-öğrenme tam olarak bunu sağlar: bir durumda bir eylemi gerçekleştirmenin ve sonrasında optimal davranmanın beklenen toplam gelecek ödülünü tahmin eden Q-değerleri tablosu (veya fonksiyonu). Ajan her hareket ettiğinde, bir ödül gözlemlediğinde ve yeni bir duruma geçtiğinde, Q-değerini az önce deneyimlediği değere ve sonrasında yapabileceği en iyi şeye doğru iter. Önemli olan, aslında sonra ne yaptığına bakılmaksızın EN İYİ sonraki eyleme doğru güncellemesidir — böylece optimal stratejiyi öğrenirken özgürce keşif yapabilir.

Tarih

Christopher Watkins, Q-öğrenmeyi 1989'daki tezinde tanıttı ve Watkins ile Dayan (1992) yakınsama kanıtını vererek onu pekiştirmeli öğrenmenin temel taşı olarak kabul ettirdi. Zamansal fark öğrenmesini kontrole genelleştirir ve daha sonraki dönüm noktalarını destekler — özellikle Q-öğrenmeyi derin ağlarla birleştirerek Atari oyunlarını piksellerden oynamayı başaran Derin Q-Ağları (Mnih ve ark., 2015). Sutton ve Barto'nun ders kitabında kanonik olarak ele alınır ve değer tabanlı RL için varsayılan bir başlangıç noktası olmaya devam etmektedir.

Ne zaman kullanılır?

Geçişleri ve ödülleri örnekleyebildiğiniz ancak dinamikler hakkında bir modelinizin olmadığı (veya güvenilmez) olduğu durumlar olarak çerçevelenen sıralı karar verme problemleri için Q-öğrenmeyi kullanın — kontrol, oyunlar, yönlendirme, zamanlama ve uyarlanabilir sistemler. Tablosal Q-öğrenme, küçük, ayrık durum-eylem alanları için uygundur ve yeterli keşif ve azalan adım boyutu verildiğinde optimuma yakınsar. Büyük veya sürekli alanlar için tablo, bir fonksiyon yaklaştırıcı (Derin Q-Ağları) ile değiştirilir. Markov özelliğini ve durağan bir ortamı varsayar, örnek açısından verimsiz olabilir ve max operatörü, Çift Q-öğrenme gibi varyantlarla ele alınan iyimser (maksimum) bir yanlılık indükler. İstatiksel veya sürekli eylem politikası gerektiğinde, politika gradyan yöntemleri alternatiftir.

Sınırlar ve dikkat edilmesi gerekenler

  • Tablosal form, büyük veya sürekli durum/eylem alanlarına ölçeklenmez.
  • Örnek açısından verimsiz; yakınsama için birçok bölüm gerekebilir.
  • Maks operatöründen kaynaklanan maksimizasyon yanlılığı (aşırı tahmin); Çift Q-öğrenme ile azaltılır.
  • Durağan bir Markov karar süreci varsayar; kısmi gözlemlenebilirlik veya sürüklenme altında zorlanır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Model-serbest: geçiş/ödül modeli gerektirmez, yalnızca örneklenmiş deneyim gerektirir.
  • Politika dışı: başka bir politika ile keşif yaparken optimal politikayı öğrenir.
  • Standart koşullar altında optimal eylem değerlerine kanıtlanabilir şekilde yakınsar.
  • Basit, temel ve Derin Q-Ağları ile birçok uzantının temelini oluşturur.

Uygulama alanları

  • Oyun oynama ve simüle edilmiş kontrol görevleri.
  • Robot navigasyonu ve uyarlanabilir kontrol.
  • Dinamik yönlendirme, zamanlama ve kaynak tahsisi.
  • Öneri ve uyarlanabilir etkileşim politikaları.
  • Derin Q-Ağları öncesi temel bir değer tabanlı yöntem.

Nasıl çalışır?

Nasıl çalışır?

1

Q(s, a), s durumunda a eylemini gerçekleştirdikten ve ardından optimal davrandıktan sonraki gelecek ödüllerin beklenen indirimli toplamını tahmin eder. γ indirim faktörü, yakın ödülleri uzak ödüllere göre daha fazla ağırlıklandırır. Tüm durum-eylem çiftleri için Q'yu öğrenmek, kontrol problemini çözmeye eşdeğerdir.

Formül
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

Her geçişten (durum s, eylem a, ödül r, sonraki durum s') sonra, Q-öğrenme Q(s, a)'yı α adımıyla r + γ·max Q(s', a') zamansal fark hedefi yönünde günceller. 'max', onu politika dışı yapan ve öğrenmeyi, sonraki eylemden bağımsız olarak optimal değere yönlendiren şeydir.

Formül
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

Deneyim toplamak için ajan bir keşif politikasıyla hareket eder, yaygın olarak ε-açgözlü: genellikle mevcut en iyi eylemi seçer, ancak ε olasılığıyla rastgele bir tane seçer. Keşif, tüm durum-eylem çiftlerinin denendiğinden emin olur, ki bu yakınsama garantisi için gereklidir; ε genellikle zamanla azalır.

Formül
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

Q, optimal eylem değerlerine Q* yakınsadıktan sonra, optimal politika basitçe her durumda en yüksek Q-değerine sahip eylemi gerçekleştirmektir. Pratikte, mevcut Q'ya göre açgözlü politika en sonda çıkarılır (veya dağıtım sırasında kullanılır).

Formül
\pi^*(s) = \arg\max_a Q^*(s,a)

Sık yapılan hatalar

  • Yetersiz keşif (ε çok küçük/çok hızlı azaldı), optimumun öğrenilmeden kalmasına neden olur.
  • Kötü öğrenme oranı çizelgesi, ıraksamaya veya acı verici derecede yavaş öğrenmeye neden olur.
  • Fonksiyon yaklaştırıcı yerine büyük alanlara tablosal Q-öğrenme uygulamak.
  • Çift Q-öğrenmenin yardımcı olduğu istatiksel problemler üzerinde aşırı tahmin yanlılığını göz ardı etmek.

Sık sorulan sorular

Q-öğrenmede 'politika dışı' ne anlama gelir?

Bu, Q-öğrenmenin optimal politikanın değerini, ajan farklı (keşifsel) bir davranış politikası izlerken öğrendiği anlamına gelir. Güncelleme hedefleri r + γ·max Q(s', a') — yani en iyi sonraki eylem — gerçekten alınan eylem değil, bu nedenle keşif öğrenilen optimumu yanlı hale getirmez.

Q-öğrenme Derin Q-Ağları (DQN) ile nasıl ilişkilidir?

DQN, Q-tablosunu, Q(s, a)'yı yaklaştıran derin bir sinir ağı ile değiştirerek, büyük veya sürekli (örneğin, piksel) durum alanlarında Q-öğrenmeyi mümkün kılar. Deneyim tekrarı ve hedef ağ gibi dengeleyici hileler ekler — ancak temel öğrenme kuralı Q-öğrenmenin zamansal fark güncellemesidir.

Q-öğrenme neden değerleri aşırı tahmin eder?

Güncellemedeki max operatörü, özellikle gürültülü ödüllerle, Q'yu yukarı doğru yanlı hale getiren aşırı iyimser tahminleri seçme eğilimindedir. Çift Q-öğrenme, iki tahminci kullanarak eylem seçimini değer değerlendirmesinden ayırarak bunu azaltır ve daha az yanlı ve genellikle daha iyi politikalar sağlar.

İlgili yöntemler

Kaynaklar

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    DOI kaynağını aç
    Kopyalandı.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    Kopyalandı.