İçeriğe atla
Arama sonuçlarına dön

Online Gradient Boosting

Ortaya koyan
Grubb, A. & Bagnell, J. A.; Beygelzimer, A. et al.
Yıl
2011–2015
Tür
Online ensemble (sequential boosting on streaming data)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Online Gradient Boosting, verileri sabit bir yığın yerine tek tek alan akış (streaming) ortamları için gradyan artırma (gradient boosting) çerçevesini uyarlar.

Her adımda model, gelen gözlem için bir sözde-kalıntı (pseudo-residual) hesaplar ve geçmiş verileri depolamadan veya tekrar ziyaret etmeden zayıf bir öğreniciyi yerinde güncelleyerek toplu bir topluluk (ensemble) büyütür. Bu, onu gerçek zamanlı tahmin ve sıfırdan yeniden eğitmenin imkansız olduğu büyük ölçekli akış işlem hatları için uygun kılar.

Yöntemin mantığı

Standart gradyan artırma, ardışık ağaçları uydurmak için tam eğitim kümesi üzerinde yinelenir, bu da tüm verilerin önceden mevcut olmasını gerektirir. Online Gradient Boosting, bu yığın geçişini tek örnekli bir güncellemeyle değiştirir: yeni bir gözlem geldiğinde, mevcut topluluk onu tahmin eder, hata sinyali (sözde-kalıntı) hesaplanır ve zincirdeki bir sonraki zayıf öğrenici o hatayı düzeltmek için yönlendirilir. Güncellemeler artımlı olarak gerçekleştiği için, model zaman içindeki kavram kaymasını (concept drift) izleyebilir — eğer altta yatan veri dağılımı kayarsa, eski örneklere göre yeni örnekler otomatik olarak daha fazla etki alır.

Tarih

Yığınlamanın (bagging) ve Poisson örneklenmiş ağırlıklarla artırmanın (boosting) çevrimiçi ortamda ilk kez Oza ve Russell (2001) tarafından araştırıldığı belirtildi. Grubb ve Bagnell (2011), dışbükey kayıplar için fonksiyonel gradyan inişi yoluyla Online Gradient Boosting'i biçimlendirdi. Beygelzimer, Hazan, Langford ve Zheng (2015), çevrimiçi ortamdaki pişmanlık (regret) garantilerini yığın ortamındaki genelleme hatasına bağlayan sıkı çevrimiçi-yığın dönüştürme sınırları sağladı ve Online Gradient Boosting'i sağlam bir teorik zemine oturttu.

Ne zaman kullanılır?

Veriler sürekli bir akış olarak geldiğinde ve her yeni yığın sonrası sıfırdan yeniden eğitmenin çok yavaş veya pratik olmadığında, hacim veya gizlilik kısıtlamaları nedeniyle geçmiş verilerin depolanmasının imkansız olduğu durumlarda veya veri üreten sürecin zamanla değişebileceği (kavram kayması) ve modelin artımlı olarak uyum sağlaması gerektiği durumlarda Online Gradient Boosting'i kullanın. Tek bir yığın geçişinin masraflı olduğu çok büyük veri kümeleri için de uygundur. Tam veri kümesinin belleğe rahatça sığdığı ve hesaplama kaynaklarının standart yığın gradyan artırmasına izin verdiği durumlarda KULLANMAYIN — XGBoost veya LightGBM gibi yığın yöntemleri bu koşullar altında genellikle daha yüksek doğruluk elde edecektir. Artırma turlarının sayısının önceden sabitlenemediği veya bireysel ağaçların yorumlanabilirliğinin katı bir gereklilik olduğu durumlardan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Tüm verilerin mevcut olduğu durumlarda, her örnek yalnızca bir kez görüldüğü için yığın gradyan artırmadan (XGBoost, LightGBM) genellikle daha düşük doğruluk elde eder.
  • Artırma turlarının sayısı akış başlamadan önce sabitlenmelidir, bu da yapısal esnekliği sınırlar.
  • Gelen örneklerin sırasına duyarlıdır: akıştaki karıştırma veya dağılım kaymaları eğitimi istikrarsızlaştırabilir.
  • Yakınsama garantileri yığın ortamına göre daha zayıftır ve seçilen öğrenme oranına büyük ölçüde bağlıdır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tüm veri kümesini depolamadan tek geçişte veri işler, bu da büyük veya sonsuz akışlar için bellekte verimli olmasını sağlar.
  • Yakın örneklerin zayıf öğrenicileri sürekli olarak güncellediği için kavram kaymasına uyum sağlar.
  • Yığın eğitiminin imkansız olduğu durumlarda gradyan artırmanın güçlü tahmin gücünü korur.
  • Her adımda gerçek zamanlı tahminler sunulabilir — model her zaman tahmin yapmaya hazırdır.
  • Herhangi bir türevlenebilir kayıp fonksiyonuyla uyumludur, regresyon, ikili ve çok sınıflı sınıflandırmayı destekler.

Uygulama alanları

  • Çevrimiçi reklam sistemlerinde gerçek zamanlı tıklama oranı tahmini.
  • Tarihsel verilerin saklanamadığı IoT işlem hatlarında finansal işlem akışlarında sahtekarlık tespiti.
  • Kullanıcı tercihlerinin zamanla geliştiği sistemlerde uyarlanabilir sıralama ve öneri.
  • Sürekli model uyarlaması ile zaman serisi anomali tespiti.
  • Online Gradient Boosting, standart XGBoost veya LightGBM'den nasıl farklıdır?

Nasıl çalışır?

Nasıl çalışır?

1

Her artırma turu için bir tane olmak üzere sabit sayıda zayıf öğrenici (tipik olarak sığ ağaçlar veya doğrusal modeller) başlatılır. Çevrimiçi (online) ortamda, topluluk yapısı test zamanında keyfi olarak büyüyemeyeceği için tur sayısı akış başlamadan önce karar verilmelidir.

2

Akıştan etiketlenmiş tek bir örnek (x_t, y_t) gelir. Mevcut topluluk F_t, x_t için bir tahmin üretir ve hemen ardından gerçek etiket y_t ortaya çıkar, bu da ileriye bakmaya gerek kalmadan bir hata sinyalinin hesaplanmasına olanak tanır.

3

Sözde-kalıntı r_t, kayıp fonksiyonunun mevcut topluluğun tahminine göre negatif gradyanıdır. Karesel hata için bu r_t = y_t - F_t(x_t) haline gelir; log-kayıp için kalıntı olasılık hatasını kodlar. Bu hedef, bir sonraki zayıf öğreniciyi mevcut hatayı düzeltmeye yönlendirir.

Formül
r_t = -\nabla_{F} L(y_t, F(x_t))
4

Aktif zayıf öğrenici h_t, sözde-kalıntıyı hedefi olarak kullanarak, bir çevrimiçi öğrenme kuralı (örneğin, doğrusal bir model üzerinde stokastik gradyan inişi veya bir Hoeffding ağacı tarzı bölünme güncellemesi) kullanılarak güncellenir. Her zayıf öğrenici böylece geçmiş verileri depolamadan akış boyunca düzeltmeleri biriktirir.

5

Topluluk toplamsal olarak güncellenir: güncellenmiş zayıf öğrenici h_t'nin çıktısı, bir öğrenme oranı eta ile ölçeklendirilerek mevcut tahmin fonksiyonu F_t'ye eklenir. Sonuç F_{t+1}, bir sonraki gelen örneği tahmin etmek için hemen kullanılabilir hale gelir.

Formül
F_{t+1}(x) = F_t(x) + \eta \, h_t(x)

Sık yapılan hatalar

  • Çok büyük bir öğrenme oranı seçmek, topluluğun salınmasına ve kararlı bir çözüme yakınsamamasına neden olur.
  • Çevrimiçi doğrulama metriklerini çapraz doğrulama sonuçlarıyla eşdeğer tutmak — bunun yerine önsel (test-sonra-eğit) değerlendirme kullanılmalıdır.
  • Kavram kaymasını göz ardı etmek: akış dağılımı aniden kayarsa, eski zayıf öğreniciler baskın olabilir ve bir kayma tespit mekanizması veya unutma stratejisi olmadıkça performansı düşürebilir.
  • Akış başlamadan önce çok az sayıda artırma turu sabitlemek, topluluğu karmaşık örüntüleri modelleme kapasitesinden mahrum bırakır.

Sık sorulan sorular

XGBoost ve LightGBM, ağaçları açgözlüce uydurmak için tam eğitim kümesi üzerinde birden çok kez yinelenen yığın yöntemleridir. Online Gradient Boosting, zayıf öğrenicilerini her tek gözlemden sonra günceller ve geçmiş verilere asla tekrar bakmaz. Veriler belleğe sığdığında yığın yöntemleri daha doğrudur; çevrimiçi varyant, ölçeklenebilirlik ve gerçek zamanlı uyarlanabilirlik için doğruluktan ödün verir.

Bir çevrimiçi modeli adil bir şekilde nasıl değerlendirmeliyim?

Önsel (test-sonra-eğit) değerlendirme kullanın: gelen her örnek için, modeli o örneğin etiketiyle güncellemeden önce tahminini kaydedin. Bu, tutulmuş bir test kümesine ihtiyaç duymadan tarafsız, zamansal olarak dürüst bir hata tahmini üretir.

Kavram kaymasıyla nasıl başa çıkarım?

Online Gradient Boosting'i, hata oranının önemli ölçüde yükseldiğini bildiren bir kayma tespit algoritmasıyla (örneğin, ADWIN veya DDM) eşleştirin. Tespit edildiğinde, topluluğun yeni dağılıma yeniden uyum sağlaması için etkilenen zayıf öğrenicileri sıfırlayın veya yeniden başlatın.

Online Gradient Boosting çok sınıflı problemler için uygun mudur?

Evet. Çok sınıflı türevlenebilir bir kayıp fonksiyonu (örneğin, softmax çapraz entropi) ile sözde-kalıntı, sınıfa özgü hata vektörleri haline gelir ve her zayıf öğrenici, yığın çok sınıflı gradyan artırma formülasyonunda olduğu gibi, tüm sınıf çıktılarını aynı anda düzeltecek şekilde güncellenir.

Uygulamada hangi zayıf öğreniciler en iyi performansı gösterir?

Sığ Hoeffding ağaçları (kendileri çevrimiçi bölünmeleri destekleyen) veya çevrimiçi doğrusal modeller en yaygın seçeneklerdir. Her yeni örnekle verimli bir şekilde güncellenirler ve her artırma adımında yığın yeniden uydurma için veri depolama ihtiyacını ortadan kaldırırlar.

MethodMind'da veri akışınızı bağlayarak, artırma turlarını ve öğrenme oranını ayarlayarak ve her yeni örnek işlenirken önsel doğruluğu izleyerek Online Gradient Boosting'i çalıştırın. Model gerçek zamanlı olarak güncellenir ve bir sonraki tahmini sunmaya her zaman hazırdır.

İlgili yöntemler

Kaynaklar

  1. Grubb, A. & Bagnell, J. A. (2011). Generalized Boosting Algorithms for Convex Optimization. Proceedings of the 28th International Conference on Machine Learning (ICML 2011), 1209–1216.

    Yayın kaynağını aç
    Kopyalandı.
  2. Beygelzimer, A., Hazan, E., Langford, J. & Zheng, T. (2015). Online-to-Batch Conversions and Applications. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Yayın kaynağını aç
    Kopyalandı.