İçeriğe atla
Arama sonuçlarına dön

Derin Pekiştirmeli Öğrenme

Ortaya koyan
Mnih, V. et al. (DQN)
Yıl
2015
Tür
Sequential decision-making (agent–environment interaction)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Derin Pekiştirmeli Öğrenme, sinir ağlarını pekiştirmeli öğrenme ile birleştirerek bir ajanın bir ortamla etkileşim kurarak öğrenmesini sağlar; bu yöntem, Mnih ve arkadaşlarının 2015 tarihli Nature dergisindeki insan seviyesinde Atari kontrolü üzerine yaptığı çalışma ile popülerleşmiştir.

Ajan, sabit etiketlenmiş bir veri kümesinden öğrenmek yerine eylemler gerçekleştirir, ödülleri gözlemler ve uzun vadeli getiriyi en üst düzeye çıkaran bir politikayı kademeli olarak şekillendirir.

Yöntemin mantığı

Oyun kuralları olmayan bir oyunu öğrenmeyi hayal edin: hamleler denersiniz, skorunuzun değiştiğini görürsünüz ve hangi eylemlerin daha sonra ödüllendirildiğini yavaş yavaş anlarsınız. Derin Pekiştirmeli Öğrenme tam olarak bu deneme-yanılma döngüsünü otomatikleştirir. Bir sinir ağı, durumların ve eylemlerin ne kadar iyi olduğunu tahmin eder ve ajan, zaman içinde daha fazla ödül kazandıran seçimleri, ödemenin karar verilmesinden çok sonraki adımlarda bile olsa, saklar.

Tarih

Derin Pekiştirmeli Öğrenme, Mnih ve arkadaşlarının 2015 tarihli Nature makalesiyle öne çıktı; bu makalede bir derin Q-ağı, piksellerden doğrudan birçok Atari oyunu boyunca insan seviyesinde kontrol elde etti. Ardından, yaygın olarak kullanılan ve daha kararlı bir varsayılan haline gelen A3C ve Schulman ve arkadaşlarının 2017 tarihli Yakınsal Politika Optimizasyonu (PPO) dahil olmak üzere politika gradyanı ilerlemeleri geldi. Birlikte DQN, PPO ve A3C, oyunlarda, robotikte ve ötesinde kullanılan modern Derin Pekiştirmeli Öğrenme araç setini oluşturur.

Ne zaman kullanılır?

Sıralı karar verme ve kontrol problemleri için Derin Pekiştirmeli Öğrenme'yi kullanın; oyun oynama, robot kontrolü, öneri optimizasyonu, klinik karar destek — burada bir ajan bir simülatör veya canlı ortamla etkileşim kurabilir ve bir ödül sinyali tanımlanabilir. Sürekli ve kategorik değişkenleri işler, normalleşme varsayımı yapmaz, ancak tasarlanmış bir ödül fonksiyonu ve önemli miktarda etkileşim verisi (en az yaklaşık 1000 bölüm) bekler. Yaklaşık 1000 etkileşimden azında politika yakınsamayacaktır ve Rastgele Orman veya XGBoost gibi denetimli bir model daha güvenli bir seçimdir.

Sınırlar ve dikkat edilmesi gerekenler

  • Bir simülatör veya etkileşim ortamı ve dikkatlice tasarlanmış bir ödül fonksiyonu gerektirir.
  • Veri açlığı çeker: büyük miktarda etkileşim (yaklaşık 1000+) gerektirir ve bir GPU önerilir.
  • Yaklaşık 1000 etkileşimden azında politika yakınsamada başarısız olur; ~500 etkileşimden azında güvenilir bir karar politikası üretemez.
  • Eğitim kararsız olabilir ve hiperparametreler ile ödül şekillendirmeye duyarlı olabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etkileşimden, etiketlenmiş örnekler olmadan doğrudan kontrol ve sıralı karar politikaları öğrenir.
  • Sinirsel fonksiyon yaklaştırması, çok büyük durum ve eylem uzaylarına ölçeklenir.
  • Alanlar arasında esnektir — oyunlar, robotik, öneri, klinik karar destek.
  • Normalleşme varsayımı yok; sürekli ve kategorik girdiler ve birçok veri yapısıyla çalışır.

Uygulama alanları

  • Oyun oynama ve ajan kontrolü (örneğin Atari ve masa oyunları).
  • Robot kontrolü ve sürekli kontrol görevleri.
  • Öneri ve sıralı optimizasyon problemleri.
  • Sıralı karar verme olarak çerçevelenmiş klinik karar destek.

Nasıl çalışır?

Nasıl çalışır?

1

Ajan, bir ortamın (bir oyun, bir simülatör, bir robot, bir öneri ayarı) mevcut durumunu gözlemler, bir eylem seçer ve bir ödül artıra sonraki durumu alır. Bir simülatör veya canlı etkileşim ortamı gereklidir ve ödül fonksiyonu, 'iyi davranışın' ne anlama geldiğini tanımladığı için kasıtlı olarak tasarlanmalıdır. Her etkileşim, ajanın öğrendiği deneyime eklenir.

2

Bir sinir ağı, durumların ve eylemlerin değerini yaklaştırır; örneğin, derin Q-ağı her eylemin beklenen gelecekteki getirisini tahmin ederken, PPO ve A3C gibi politika gradyanı yöntemleri politikayı doğrudan parametreleştirir. Bu yöntemi 'derin' yapan budur: ağ, bir arama tablosunun asla kapsayamayacağı geniş durum uzaylarında genelleme yapar.

Formül
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

Etkileşim yoluyla toplanan ödülleri kullanarak, ağ, daha yüksek kümülatif indirimli getiriye yol açan eylemleri tercih edecek şekilde güncellenir ve politika sürekli olarak uzun vadeli ödülü en üst düzeye çıkaran bir politikaya doğru iyileştirilir. Öğrenme deneyimle yönlendirildiği için, politikanın yakınsaması için büyük miktarda etkileşim verisi (kayıtlık en az yaklaşık 1000 bölüm/etkileşim önerir) ve ideal olarak bir GPU gereklidir.

Formül
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Sık yapılan hatalar

  • Politikanın yakınsamayacağı küçük bir veri kümesine Derin Pekiştirmeli Öğrenme uygulamak yerine bir denetimli model kullanmak.
  • Ajanın istenmeyen yollarla istismar ettiği kötü tanımlanmış bir ödül fonksiyonu tasarlamak.
  • Bir simülatör/etkileşim ortamını atlayıp statik bir kayıt tablosundan öğrenmeye çalışmak.
  • Yakınsama tanılarını göz ardı edip yetersiz eğitilmiş, yüksek varyanslı bir politikaya güvenmek.
  • Hesaplama ihtiyaçlarını küçümsemek ve çok az bölümle GPU olmadan çalıştırmak.

Sık sorulan sorular

Derin Pekiştirmeli Öğrenme ne kadar veri gerektirir?

Veri açlığı çeker. Kayıtlık, politikanın yakınsaması için en az yaklaşık 1000 etkileşim/bölüm önerir; yaklaşık 500 etkileşimden azında DQN/PPO güvenilir bir karar politikası üretemez ve denetimli bir model tercih edilir.

DQN, PPO ve A3C arasındaki fark nedir?

DQN bir değer fonksiyonu (her eylemin beklenen getirisi) öğrenir ve buna göre açgözlü davranır. PPO ve A3C, politikayı doğrudan optimize eden politika gradyanı yöntemleridir; özellikle PPO, eğitim kararlılığı açısından değerlidir.

Bir simülatöre ihtiyacım var mı?

Evet. Derin Pekiştirmeli Öğrenme etkileşimden öğrenir, bu nedenle hedefi kodlayan kasıtlı olarak tasarlanmış bir ödül fonksiyonu ile birlikte bir simülatör veya canlı etkileşim ortamı gereklidir.

Bir GPU'ya ihtiyacım var mı?

Bir GPU önerilir. Derin Pekiştirmeli Öğrenme, çok büyük sayıda etkileşim üzerinden sinir ağlarını eğitir, bu nedenle uygun hesaplama olmadan eğitim yavaştır ve yakınsamaya ulaşmak zordur.

İlgili yöntemler

Kaynaklar

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    DOI kaynağını aç
    Kopyalandı.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Yayın kaynağını aç
    Kopyalandı.