İçeriğe atla
Arama sonuçlarına dön

Çevrimiçi Öğrenme

Ortaya koyan
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
Yıl
1958–2000s
Tür
Learning paradigm (sequential model update)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Çevrimiçi öğrenme, sabit bir veri kümesi üzerinde bir kez eğitilmek yerine, her yeni veri noktası geldiğinde modelin artımlı olarak güncellendiği bir makine öğrenmesi paradigmasıdır.

Veri sürekli akış halindeyken, depolama alanı sınırlıyken veya temel dağılım zamanla değiştikçe zorunludur hale gelir. Teorik performans, geçmişteki en iyi sabit tahminciye göre kümülatif pişmanlık (regret) ile ölçülür.

Yöntemin mantığı

Klasik yığın (batch) öğrenmede, önce tüm veriyi toplar ve sonra eğitirsiniz. Çevrimiçi öğrenme bunu tersine çevirir: model tek seferde bir örnek alır, bir tahmin yapar, gerçek sonucu görür ve hemen kendini günceller. Her ticaretten sonra yıl sonunu beklemek yerine stratejisini ayarlayan bir tüccar düşünün. Temel teorik güvence düşük pişmanlıktır — çok sayıda tur boyunca, çevrimiçi öğrenicinin toplam kaybı, geçmişte seçilen tek en iyi statik stratejinin kaybı kadar küçüktür.

Tarih

Çevrimiçi öğrenme paradigması, Rosenblatt'ın Perceptron'una (1958) dayanır ve teorik olarak Littlestone (Hata Sınırı modeli, 1988) ve Freund & Schapire (Winnow, Hedge, 1990'lar) tarafından biçimlendirilmiştir. Birçok algoritma boyunca pişmanlık analizini birleştiren çevrimiçi dışbükey optimizasyon çerçevesi, Zinkevich (2003) tarafından geliştirilmiş ve Shalev-Shwartz (2011) tarafından kapsamlı bir şekilde incelenmiştir. FTRL ve AdaGrad varyantları, Google gibi şirketlerde büyük ölçekli endüstriyel sistemleri desteklemektedir.

Ne zaman kullanılır?

Veri sürekli bir akış olarak geldiğinde ve sıfırdan yeniden eğitim pratik olmadığında; veri dağılımı zamanla değiştiğinde (kavram kayması) ve modelin tam yeniden eğitim olmadan uyum sağlaması gerektiğinde; veya depolama ve bellek kısıtlamaları tam veri kümesini tutmayı engellediğinde çevrimiçi öğrenmeyi kullanın. Tavsiye sistemleri, dolandırıcılık tespiti, doğal dil işleme hatları ve sensör verileri uygulamaları için uygundur. Veri hacminin küçük ve statik olduğu (yığın öğrenme daha basittir ve eşit derecede etkilidir), yakınsama için tam veri kümesinin birden çok kez görülmesi gerektiği (örneğin, küçük kümelerdeki derin sinir ağları) veya tekrarlanabilirlik ve çevrimdışı değerlendirme hatlarının kritik olduğu ve akış altyapısının mevcut olmadığı durumlarda KULLANMAYIN.

Sınırlar ve dikkat edilmesi gerekenler

  • Öğrenme oranı ve hiperparametre seçimine duyarlıdır; kötü oranlar yavaş yakınsamaya veya kararsızlığa neden olur.
  • Herhangi bir adımdaki performans, örneklerin sıralamasına bağlıdır, bu da sonuçları sıraya duyarlı hale getirir.
  • Yığın değerlendirme metrikleri (çapraz doğrulama, tutma test kümeleri) doğrudan uygulanamaz; bunun yerine önsel (prequential) değerlendirme gereklidir.
  • Derin sinir ağı eğitimi tipik olarak veriler üzerinde birden çok geçiş (epoch) gerektirir, bu da katı tek geçişli çevrimiçi ayarlar ile çelişir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sabit bellek ile sınırsız veri akışlarını işler, bu da onu büyük veya sonsuz veri kümelerine ölçeklenebilir hale getirir.
  • Açık yeniden eğitim tetikleyicileri olmadan kavram kaymasına ve dağılımsal kaymaya otomatik olarak uyum sağlar.
  • Pişmanlık sınırları aracılığıyla güçlü teorik garantiler sağlar, herhangi bir sabit rakibe karşı en kötü durum performansını ölçer.
  • Düşük gecikmeli güncellemeler, gerçek zamanlı ve zamana duyarlı uygulamalar için uygun olmasını sağlar.
  • Birçok algoritma (SGD, AdaGrad, FTRL) iyi anlaşılmış yakınsama ve pişmanlık özelliklerine sahiptir.

Uygulama alanları

  • Gerçek zamanlı tıklama oranı tahmini ve çevrimiçi reklamcılık (Google ölçeğinde FTRL-Proximal).
  • Acil model güncellemeleri gerektiren finansal işlem akışlarında dolandırıcılık ve anomali tespiti.
  • Gelişen kelime dağarcığına sahip haber veya sosyal medya akışları üzerindeki doğal dil işleme hatları.
  • Veri hacminin yığın depolamayı engellediği sensör ve IoT veri sınıflandırması.
  • Kullanıcı tercihlerindeki kaymalara anında uyum sağlaması gereken öneri sistemleri.
  • Spam tanımının sürekli geliştiği uyarlanabilir spam filtreleme.

Nasıl çalışır?

Nasıl çalışır?

1

Her zaman adımı t'de, öğrenici veri akışından yeni bir özellik vektörü x_t alır. Örnek hemen işlenir ve kalıcı olarak saklanmaz, bu da bu paradigmayı sınırsız veri akışları için bile bellek açısından verimli hale getirir.

2

Mevcut model f_t, gerçek etiket açıklanmadan önce x_t için bir tahmin üretir. Model doğrusal bir sınıflandırıcı, küçük bir sinir ağı, bir karar kuralı veya bellekte tutulan herhangi bir parametrik fonksiyon olabilir.

Formül
\hat{y}_t = f_t(x_t)
3

Tahmin yaptıktan sonra, öğrenici gerçek etiketi y_t gözlemler ve kaybı hesaplar. Bu geri bildirim sinyali, mevcut tahminin ne kadar yanlış olduğunu ölçer ve sonraki parametre güncellemesini yönlendirir.

Formül
\ell_t = \ell(\hat{y}_t, y_t)
4

Model parametreleri, mevcut parametrelere göre kaybın gradyanı kullanılarak, bir öğrenme oranı ile ölçeklendirilerek güncellenir. Yaygın algoritmalar arasında Perceptron, Stokastik Gradyan İnişi (Stochastic Gradient Descent), AdaGrad ve Follow-the-Regularized-Leader (FTRL) bulunur.

Formül
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

Performans, kümülatif pişmanlık ile değerlendirilir: çevrimiçi öğrenicinin toplam kaybı ile geçmişte bilinen en iyi sabit tahmincinin toplam kaybı arasındaki fark. Alt-doğrusal pişmanlık büyümesi (örneğin, O(sqrt(T))) öğrenicinin optimuma yakın davranışa yakınsamasını garanti eder.

Formül
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

Sık yapılan hatalar

  • AdaGrad veya azalan bir programın gerektiği durumlarda sabit bir öğrenme oranı kullanmak — yavaş öğrenmeye veya ıraksamaya neden olur.
  • Kavram kayması izlemesini göz ardı etmek: çevrimiçi modeller bile açıkça izlenmezse ani dağılım değişikliklerinin gerisinde kalabilir.
  • 'Çevrimiçi öğrenme'yi web tabanlı öğrenme (e-öğrenme) ile karıştırmak; makine öğrenmesi anlamı kesinlikle artımlı model güncellemesidir.
  • Yığın çapraz doğrulaması ile değerlendirme yerine önsel (test-önce-eğit) değerlendirme kullanmak, bu da performansı olduğundan fazla veya az gösterir.
  • Çevrimiçi öğrenmeyi, düzgün çapraz doğrulamaya sahip daha basit yığın yöntemlerinin daha uygun olduğu küçük statik veri kümelerine uygulamak.

Sık sorulan sorular

Çevrimiçi öğrenme, stokastik gradyan inişi ile aynı şey midir?

SGD, çevrimiçi öğrenmede kullanılan en yaygın optimizasyon algoritmasıdır, ancak aynı şey değillerdir. Çevrimiçi öğrenme bir paradigmadır (bir örneği işle, güncelle, devam et); SGD bir güncelleme kuralıdır. Çevrimiçi öğrenme, Perceptron, AdaGrad veya FTRL gibi başka güncelleme kuralları kullanabilir.

Çevrimiçi öğrenme ile eğitilmiş bir modeli nasıl değerlendiririm?

Önsel (test-önce-eğit) değerlendirme kullanın: gelen her örnek için önce tahmin yapın, hatayı kaydedin, sonra güncelleyin. Hataların çalışan ortalaması, ayrı bir tutma kümesine ihtiyaç duymadan gerçek zamanlı performansın yansız bir tahminini verir.

Çevrimiçi öğrenme kavram kaymasını nasıl ele alır?

Her örnekten sonra parametreler güncellendiği için, model doğal olarak yavaş dağılımsal kaymaları izler. Ani kaymalar için, hata oranlarını veya istatistiksel testleri (örneğin, DDM, ADWIN) izleyerek açıkça tespit edilen, daha yüksek bir öğrenme oranı veya model sıfırlaması gerekebilir.

Pişmanlık nedir ve neden önemlidir?

Pişmanlık, çevrimiçi algoritmanın tam geçmiş bilgisiyle seçilen en iyi sabit tahminciye kıyasla maruz kaldığı kümülatif ekstracompared kayıptır. Alt-doğrusal pişmanlık (T'den daha yavaş büyüyen), tur başına ortalama kaybın optimuma yakınsadığını garanti eder ve bu da titiz bir en kötü durum performans sertifikası sağlar.

Derin sinir ağları çevrimiçi bir şekilde eğitilebilir mi?

Evet, ancak bazı uyarılarla. DNN'ler tipik olarak kararlı yakınsama için veriler üzerinde birden çok epoch gerektirir, bu da katı tek geçişli çevrimiçi kısıtlamalarla çelişir. Pratikte, mini-yığın akış SGD'si bir uzlaşma olarak kullanılır — ağırlıkları güncellemeden önce birkaç örneğin son yığınlarını işler.

İlgili yöntemler

Kaynaklar

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    DOI kaynağını aç
    Kopyalandı.
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN: 978-0-521-84108-5
    Kopyalandı.