İçeriğe atla
Arama sonuçlarına dön

Stokastik Gradyan İnişi (SGD)

Ortaya koyan
Robbins, H. & Monro, S.
Yıl
1951
Tür
First-order iterative optimization algorithm

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Stokastik Gradyan İnişi (SGD), Robbins ve Monro tarafından 1951'de tanıtılan stokastik yaklaştırma çerçevesine dayanan, birinci dereceden iteratif bir optimizasyon algoritmasıdır.

Bu algoritma, her adımda rastgele seçilen tek bir eğitim örneği (veya küçük bir mini-batch) üzerinde hesaplanan gradyanı kullanarak model parametrelerini güncelleyerek bir hedef fonksiyonunu minimize eder. Modern makine öğrenmesi ve derin öğrenmenin arkasındaki temel optimizasyon motorudur ve belleğe sığamayacak kadar büyük veri kümeleri üzerinde modellerin eğitilmesini sağlar.

Yöntemin mantığı

Sıradan gradyan inişi, tek bir parametre güncellemesi yapmadan önce tüm eğitim örnekleri üzerindeki kaybın kesin gradyanını hesaplar — büyük veri kümelerinde doğru ancak aşırı derecede yavaştır. SGD, kesinlikten hız için ödün verir: rastgele bir örnek (veya küçük bir yığın) seçer, gradyanın gürültülü bir tahminini hesaplar ve parametreleri hemen günceller. Gürültü sadece bir rahatsızlık değildir; örtük düzenlileştirme görevi görür, optimizasyon aracının sığ yerel minimumlardan ve eyer noktalarından kaçmasına yardımcı olur. Çok sayıda iterasyonda, gürültülü adımlar ortalaması alınır ve parametreler, bir sarhoşun hedefe yine de ulaştığı bir yürüyüş gibi, kaybın bir minimumuna doğru yakınsar.

Tarih

SGD'nin teorik temeli, 1951 tarihli 'A Stochastic Approximation Method' adlı makalelerinde Herbert Robbins ve Sutton Monro tarafından atılmıştır. Bu makalede, azalan adım boyutuna sahip iteratif gürültülü güncellemelerin bir regresyon fonksiyonunun köküne yakınsadığı kanıtlanmıştır. Gradyan tabanlı optimizasyonla bağlantı, Kiefer ve Wolfowitz (1952) ve daha sonra Widrow ve Hoff'un uyarlanabilir filtreleme için LMS kuralı (1960) tarafından açıkça yapılmıştır. SGD, 1980'lerin sonlarında ve 1990'larda LeCun ve işbirlikçilerinin geri yayılım yoluyla sinir ağlarını eğitme çalışmaları sayesinde makine öğrenmesinde önem kazandı. 2000'lerde Bottou ve işbirlikçilerinin büyük ölçekli deneylerinin yayınlanması, SGD'nin endüstriyel veri kümelerinde yığın yöntemlere göre üstünlüğünü gösterdi. Modern mini-batch SGD formülasyonu, yaklaşık 2012'deki derin öğrenme rönesansı (AlexNet) ile evrensel hale geldi ve algoritma, Adam (Kingma & Ba, 2014) gibi varyantların doğrudan güncelleme kuralına dayandığı alanın baskın optimizasyon aracı olmaya devam ediyor.

Ne zaman kullanılır?

Eğitim kümesi, güncelleme başına tam gradyanı hesaplamanın çok maliyetli olacağı kadar büyük olduğunda SGD tercih edilen yöntemdir, bu da neredeyse tüm modern sinir ağı eğitimini ve büyük ölçekli doğrusal model uydurmayı kapsar. Herhangi bir türevlenebilir kayıp fonksiyonuna uygulanır. Temel varsayımlar: kayıp parametrelere göre türevlenebilir (veya alt-türevlenebilir), veri noktaları bağımsız olarak örneklenir ve gradyan tahmincisi yansızdır. Güçlü dışbükey hedefler için SGD O(1/T) yakınsama elde eder; genel dışbükey olmayan hedefler (örneğin, derin ağlar) için pratikte durağan noktalar bulur, ancak küresel optimallik garantisi yoktur. Mini-batch SGD (32–512 yığın boyutları), daha düşük varyanslı gradyan tahminleri sağladığı ve modern donanımlarda paralelliği kullandığı için tipik olarak saf tek örnekli SGD'ye tercih edilir. Veri kümesi tam yığın gradyan inişi için yeterince küçükse ve hedef iyi koşullandırılmışsa, L-BFGS gibi ikinci dereceden yöntemler daha hızlı yakınsayabilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Gradyan tahminleri gürültülüdür, bu da kaybın monotonik olarak azalmak yerine dalgalanmasına neden olur, bu da yakınsamayı teşhis etmeyi zorlaştırır.
  • Öğrenme oranına oldukça duyarlıdır: çok büyük olması ıraksamaya neden olur; çok küçük olması eğitimi aşırı derecede yavaşlatır.
  • Dışbükey olmayan hedefler (neredeyse tüm derin sinir ağları) için küresel bir minimum bulma garantisi yoktur.
  • İzotropik güncellemeler, tüm parametre boyutlarını eşit şekilde ele alır, bu da onu farklı eksenler boyunca çok farklı eğriliklere sahip kayıp yüzeyleri için uygunsuz hale getirir — bu da uyarlanabilir oranlı varyantları motive eder.
  • Öğrenme oranı programının dikkatli ayarlanmasını gerektirir; kötü programlar nihai performansı önemli ölçüde düşürür.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Her güncelleme yalnızca bir örnek veya mini-batch gerektirdiğinden, adım başına belleği ve hesaplamayı sabit tutarak keyfi olarak büyük veri kümelerine ölçeklenir.
  • Dahili gürültü, örtük düzenlileştirme sağlar ve dışbükey olmayan manzaralarda sığ yerel minimumlardan ve eyer noktalarından kaçmaya yardımcı olur.
  • Son derece genel: çapraz entropi, ortalama karesel hata, menteşe kaybı ve özel hedefler dahil olmak üzere herhangi bir türevlenebilir kayba uygulanabilir.
  • Neredeyse tüm modern optimizasyon araçlarının (Adam, RMSProp, AdaGrad, Nesterov momentum) temelini oluşturur — SGD'yi anlamak, onları anlamak için ön koşuldur.
  • Mini-batch'ler kullanarak uygulaması ve GPU'lar arasında paralelleştirmesi basittir.

Uygulama alanları

  • Görüntü sınıflandırma, konuşma tanıma ve doğal dil işleme için derin sinir ağlarını eğitmek.
  • Metin sınıflandırma ve öneri sistemlerinde büyük ölçekli lojistik regresyon ve doğrusal SVM modellerini uydurmak.
  • Örneklerin sıralı olarak geldiği ve modelin gerçek zamanlı olarak güncellenmesi gereken çevrimiçi öğrenme ortamları.
  • Beklenen getirinin örneklenmiş yörüngeler kullanılarak optimize edildiği pekiştirmeli öğrenme politika gradyan yöntemleri.
  • Öneri sistemlerinde işbirlikçi filtreleme için matris ayrıştırma.

Nasıl çalışır?

Nasıl çalışır?

1

Eğitim hedefi, tüm n örnekleri üzerindeki ortalama kayıptır. Çapraz entropi ile sınıflandırma veya karesel hata ile regresyon gibi görevler için bu toplam milyarlarca terim içerebilir, bu da her iterasyonda tam değerlendirmeyi pratik olmaktan çıkarır.

Formül
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)
2

t adımında, tek bir eğitim örneği (veya mini-batch) düzgün bir şekilde rastgele örneklenir. O örnek üzerindeki kaybın gradyanı, gerçek gradyanın yansız bir tahmincisidir, bu nedenle bireysel bir adım için gürültülü olsa da ortalama olarak güncelleme doğru yönde ilerler.

Formül
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})
3

Parametre vektörü, öğrenme oranı eta_t ile ölçeklendirilmiş gradyan tahmininin tersi yönde hareket ettirilir. Daha küçük bir öğrenme oranı güncellemeleri dikkatli ama yavaş yapar; daha büyük bir oran yakınsamayı hızlandırır ancak aşırı geçme riskini taşır. Bu tek satır — Robbins–Monro güncellemesi — neredeyse her modern optimizasyon aracının kalbidir.

Formül
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_t
4

Robbins–Monro koşulları (oranların toplamı ıraksar, kare oranların toplamı yakınsar), dışbükey hedefler için yakınsamayı garanti eder. Pratikte, yaygın programlar adım bozunumu, kosinüs tavlaması ve sıcak yeniden başlatmaları içerir; koşullar, bozunma programının neden gerekli olduğuna dair teorik temel sağlar.

Formül
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \infty

Sık yapılan hatalar

  • Epoch boyunca sabit bir öğrenme oranı kullanmak, herhangi bir bozunma programı olmadan, optimizasyon aracının minimum etrafında salınmasına neden olur, ancak yerleşmesine izin vermez.
  • Örtük düzenlileştirme etkisini dikkate almadan yığın boyutunu seçmek: çok büyük yığınlar gürültüyü azaltır ve aynı sayıda epoch'ta daha küçük yığınlara kıyasla genelleştirmeye zarar verebilir.
  • Her epoch'tan önce eğitim verilerini karıştırmayı unutmak, veriler sınıfa veya zamana göre sıralandığında sistematik yanlılığa neden olabilir.
  • Öğrenme oranını yalnızca bir kez doğrulama kaybı üzerinde ayarlamak yerine eğitim eğrilerini izlemek, ıraksama veya erken plato belirtilerini kaçırmak.
  • Yakınsama yavaş göründüğünde kök nedeni teşhis etmeden körü körüne Adam'a geçmeden, SGD'yi yakınsama özelliklerini anlamadan bir kara kutu optimizasyon aracı olarak ele almak.

Sık sorulan sorular

SGD, mini-batch SGD ve tam yığın gradyan inişi arasındaki fark nedir?

Tam yığın gradyan inişi, güncelleme başına tüm n eğitim örneği üzerinden kesin gradyanı hesaplar — doğru ancak adım başına O(n) maliyetlidir. Saf SGD, güncelleme başına tam olarak bir rastgele seçilmiş örnek kullanır — O(1) maliyet ancak çok gürültülüdür. Mini-batch SGD, küçük rastgele bir alt küme (tipik olarak 32–512 örnek) kullanır — gürültüyü azaltırken maliyeti yönetilebilir tutan ve GPU paralelliğinden yararlanan pratik bir uzlaşmadır. Modern kullanımda, 'SGD' neredeyse her zaman mini-batch SGD anlamına gelir.

Öğrenme oranı nasıl ayarlanmalıdır?

Evrensel bir cevap yoktur, ancak yaygın bir uygulama, orta düzey bir değerle (örneğin, 0.01 veya 0.1) başlamak, eğitim kaybı eğrisini izlemek ve adım bozunumu, kosinüs tavlaması veya sıcak yeniden başlatmalar gibi bir bozunma programı uygulamaktır. Öğrenme oranı bulucuları (birkaç yığın üzerinden oranları tarayarak ve kaybı gözlemleyerek) iyi bir başlangıç değeri belirleyebilir. Robbins–Monro teorisi, oranın sıfıra doğru azalmasını gerektirir, ancak pratikte erken yavaşlamayı önlemek için azalma genellikle nazikçe uygulanır.

SGD neden bazen Adam'dan daha iyi genelleşir?

Adam gibi uyarlanabilir oranlı optimizasyon araçları genellikle daha hızlı yakınsar ancak özellikle görüntü sınıflandırma görevlerinde daha fazla aşırı uyum sağlayabilir. SGD'deki daha yüksek gürültü — özellikle küçük yığın boyutlarında — örtük düzenlileştirme görevi görür, modelin daha iyi genelleşen daha düz minimumlar bulmasına yardımcı olur. Birkaç ampirik çalışma (örneğin, Wilson vd., 2017), bu olguyu belgelemiştir, bu nedenle SGD'nin momentum ile birlikte hala ResNet gibi bilgisayar görüşü modellerini eğitmek için tercih edilmesinin nedeni budur.

SGD küresel minimumu bulmayı garanti eder mi?

Yalnızca kesin dışbükey hedefler için, Robbins–Monro adım boyutu koşulları altında. Dışbükey olmayan hedefler (neredeyse tüm derin ağlar) için SGD, durağan bir noktaya (gradyanın sıfır olduğu yer) yakınsama sağlar, bu pratikte eyer noktası veya küresel minimumdan ziyade iyi bir yerel minimum olma eğilimindedir. Ampirik olarak, bulunan çözümler genellikle son teknoloji performansı için yeterince iyidir.

İlgili yöntemler

Kaynaklar

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.

    DOI kaynağını aç
    Kopyalandı.
  2. Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.

    ISBN: 978-0-262-03561-3
    Kopyalandı.