İçeriğe atla
Arama sonuçlarına dön

Online Boosting

Ortaya koyan
Oza, N. C. & Russell, S.
Yıl
2001
Tür
Online ensemble (incremental boosting)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Online Boosting, klasik güçlendirme (boosting) çerçevesini veri akışlarına uyarlar; tam veri kümesini depolamadan, zayıf öğrenicilerden oluşan bir topluluğu örnek başına birer birer günceller.

Oza-Russell formülasyonu, AdaBoost'un yeniden ağırlıklandırmasını Poisson örneklemeli örnek sayımlarını kullanarak yaklaştırır; bu da gerçek zamanlı veya kaynak kısıtlı ortamlarda doğru, uyarlanabilir sınıflandırmayı mümkün kılar.

Yöntemin mantığı

Yığın güçlendirme (batch boosting), ardışık öğrenicilerin birbirlerinin hatalarını düzeltmesini sağlamak için eğitim örneklerini yeniden ağırlıklandırır, ancak bu tüm verinin bir kerede görülmesini gerektirir. Online Boosting, açık yeniden ağırlıklandırmayı bir Poisson örnekleme hilesiyle değiştirir: gelen her örnek bir zayıf öğrenici zincirinden geçirilir ve her öğrenicinin örneği kaç kez gördüğü (etkin ağırlığı) Poisson dağılımından çekilir; bu dağılımın oranı, önceki öğrenici örneği yanlış aldığında yukarı, doğru aldığında aşağı doğru kayar. Sonuç, geçmiş verileri asla tekrar oynatmadan AdaBoost'un düzeltme dinamiklerini yakından taklit eder.

Tarih

Online Boosting, Nikunj Oza ve Stuart Russell tarafından 2001 tarihli 'Online Bagging and Boosting' makalelerinde biçimlendirilmiştir; bu makale, Poisson örnekleme hilesinin akış ortamında yığın AdaBoost'un istatistiksel olarak sağlam bir yaklaşımını sağladığını göstermiştir. Çalışma, Freund ve Schapire'nin AdaBoost'una (1997) ve Breiman'ın torbalamasına (1996) dayanıyordu. Sonraki araştırmalar, kavram kayması, çok sınıflı problemler ve maliyet-duyarlı öğrenmeyi ele almak için yaklaşımı genişleterek Online Boosting'i veri akışı madenciliği literatüründe standart bir araç olarak sağlamlaştırdı.

Ne zaman kullanılır?

Veriler sürekli bir akış olarak geliyorsa ve model geçmiş örneklere tekrar başvurmadan artımlı olarak güncellenmesi gerekiyorsa Online Boosting'i kullanın — örneğin gerçek zamanlı dolandırıcılık tespiti, ağ saldırısı izleme, sensör tabanlı sınıflandırma veya tam veri kümesini depolamanın imkansız olduğu herhangi bir ortamda. Akış, uyarlanabilir yeniden ağırlıklandırmadan yararlanan kavram kayması içeriyorsa, tek çevrimiçi öğrenicilerden ve çevrimiçi torbalamadan daha iyi performans gösterir. Veri kümesinin statik olduğu ve belleğe sığdığı durumlarda kullanmayın — yığın gradyan güçlendirme (XGBoost, LightGBM) neredeyse her zaman daha yüksek doğruluk üretecektir. Ayrıca, ciddi ve ani kavram kayması içeren akışlardan kaçının; bu, temel Online Boosting'de yerleşik olmayan açık kayma tespiti sıfırlama mekanizmaları gerektirebilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Akıştaki etiket gürültüsüne duyarlıdır, çünkü yanlış etiketler Poisson oranının artmasına neden olur ve sonraki öğrenicilerdeki hataları büyütür.
  • Açık bir kayma tespiti mekanizmasıyla birleştirilmediği sürece ani kavram kaymasından otomatik olarak kurtulmaz.
  • Yığın güçlendirmeden daha az zayıf öğrenici çeşitliliği, çünkü düzeltme için geçmiş örnekler tekrar oynatılamaz.
  • Topluluk boyutu M başlangıçta sabittir; akış sırasında öğrenici eklemek veya çıkarmak istikrarsızlığı önlemek için dikkat gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Her örneği tam olarak bir kez işler, bu da onu yüksek hızlı veya bellek kısıtlı veri akışları için uygun kılar.
  • Güçlendirmenin güçlü yanlılık azaltma özelliğini miras alır, zorlu sınıflandırma görevlerinde genellikle çevrimiçi torbalamadan daha iyi performans gösterir.
  • Uyarlanabilir yeniden ağırlıklandırma, akışın önceki kısımlarından kaynaklanan hataları düzeltmek için sonraki örneklere izin verir.
  • Örnek ağırlıklarının hiperparametre ayarlanmasına gerek yoktur; Poisson yaklaşımı kendi kendini düzenler.
  • Artımlı olarak güncellenebilen herhangi bir zayıf öğreniciyle uyumludur, bu da model seçiminde esneklik sağlar.

Uygulama alanları

  • İşlem akışlarındaki gerçek zamanlı dolandırıcılık ve anomali tespiti.
  • Sürekli gelen paket düzeyindeki verilerle ağ saldırısı tespiti.
  • Üretimdeki yüksek frekanslı sensör akışlarından tahmine dayalı bakım.
  • Gelişen spamcı taktiklerine artımlı olarak uyum sağlayan e-posta spam filtreleme.
  • Çevrimiçi reklam platformlarında tıklama oranı tahmini.
  • Hasta verilerinin sıralı olarak geldiği ve model güncellemelerinin anında olması gereken tıbbi izleme.

Nasıl çalışır?

Nasıl çalışır?

1

Başlangıçta eşit Poisson oranlarıyla başlatılan M adet zayıf öğreniciden oluşan sıralı bir dizi (genellikle sığ karar ağaçları veya kütükler). Her öğrenici bir alfa ağırlığı ve katkısını tahmin etmek için kullanılan doğru ve yanlış ağırlıklı tahminlerin kümülatif sayısıyla ilişkilendirilir.

2

Akıştan yeni bir etiketli örnek gelir. Geçmiş veri depolanmaz; algoritma örneği bir kez işler ve ilerler. Bu tek geçiş kısıtlaması, çevrimiçi güçlendirmeyi yığın karşılığından ayıran tanımlayıcı özelliktir.

3

İlk öğrenici için, örnek k kez tekrarlanır, burada k, Poisson(1)'den çekilir. Bu, yığın torbalamasındaki (bagging) gibi değiştirerek örneklemeyi yaklaştırır. Poisson oranı lambda, zincir boyunca yayılır ve her sonraki öğrenici için örneğin etkin ağırlığı olarak işlev görür.

Formül
k \sim \text{Poisson}(\lambda),\; \lambda = 1 \text{ initially}
4

Her zayıf öğrenici, mevcut Poisson oranına göre k kez tekrarlanan örnek kullanılarak iç modelini günceller. Örneğin, karar kütükleri (decision stumps) bölünme eşiklerini artımlı olarak günceller. Öğrenici daha sonra örnek için ikili bir tahmin üretir.

5

Mevcut zayıf öğrenici örneği doğru sınıflandırdıysa, bir sonraki öğreniciye aktarılan Poisson oranı azaltılır (doğru işlenen durumları yukarı ağırlıklandırmak gereksizdir). Yanlışsa, oran artırılır, böylece bir sonraki öğrenici bu zorlu örneğe daha fazla odaklanır. Öğrenicinin katkı ağırlığı alfa, kümülatif doğruluğundan güncellenir.

Formül
\lambda_{m+1} = \lambda_m \cdot \frac{e^{\pm \alpha_m}}{Z_m}
6

Çıkarım için, nihai tahmin, her oy kullanma işleminin öğrenicinin alfasıyla ölçeklendirildiği tüm M zayıf öğrenici üzerindeki ağırlıklı çoğunluk oylamasıdır. Bu, AdaBoost'un işaretli ağırlıklı toplamını yansıtır ve sınıf etiketinin yanı sıra kalibre edilmiş bir güven sağlar.

Formül
\hat{y} = \operatorname{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(x)\right)

Sık yapılan hatalar

  • Çevrimiçi güçlendirmeyi yığın güçlendirmeyle karıştırmak ve statik veri kümelerinde aynı doğruluğu beklemek — yapabiliyorsanız yığın yöntemlerini kullanın.
  • Etiket gürültüsünü göz ardı etmek: gürültülü bir akış, güçlendirmenin zor (muhtemelen yanlış etiketlenmiş) örneklerin etkisini büyütmesi nedeniyle Çevrimiçi Torbalamadan daha hızlı bir şekilde Online Boosting'i bozar.
  • M'yi (zayıf öğrenici sayısı) çok küçük seçmek ve ayarlama yapmadan zayıf performansı kabul etmek.
  • Kavram kaymasını izlemeyi başaramamak ve dağılım varsayımlarının kaydığı bir modele güvenmeye devam etmek.
  • Anlık doğruluğu değil, önsel (test et-sonra eğit) değerlendirmeyi raporlamak, bu da bozulmayı maskeleyebilir.

Sık sorulan sorular

Online Boosting, yığın AdaBoost'tan nasıl farklıdır?

Yığın AdaBoost, birden çok geçişte örnekleme olasılıklarını yeniden ölçeklendirerek eğitim örneklerini yeniden ağırlıklandırır. Online Boosting, her gelen örneği bir zayıf öğrenici zincirinden geçirerek ve her öğrenicinin örneği kaç kez gördüğünü kontrol eden bir Poisson oranını ayarlayarak, geçmiş verileri asla depolamadan veya tekrar oynatmadan bunu yaklaştırır.

Kaç zayıf öğrenici M kullanmalıyım?

Sığ kütükler veya küçük ağaçlar için tipik olarak 10 ile 50 arasında bir M değeri kullanılır. Daha fazla öğrenici yanlılığı azaltır ancak çıkarım gecikmesini artırır. Dağıtmadan önce temsili bir veri diliminde önsel değerlendirme kullanarak M'yi ayarlayın.

Online Boosting, kavram kaymasına karşı dayanıklı mıdır?

Temel Online Boosting, kavram kaymasını açıkça algılamaz veya yanıt vermez. Kaydırılan akışlar için, kayma algılandığında topluluğun kısmi veya tam sıfırlanmasını tetikleyen ADWIN veya DDM gibi bir kayma tespit algoritmasıyla eşleştirin.

Ne zaman Online Bagging yerine Online Boosting'i tercih etmeliyim?

Akış önemli miktarda etiket gürültüsü içerdiğinde, Online Bagging daha dayanıklıdır çünkü güçlendirmenin yaptığı gibi zor (muhtemelen yanlış etiketlenmiş) örneklerin etkisini büyütmez. Akış nispeten temiz olduğunda ve maksimum doğruluk istediğinizde Online Boosting tercih edilir.

Bir akış modelini ayrı bir test kümesi olmadan değerlendirebilir miyim?

Evet. Önsel (test et-sonra eğit) değerlendirmeyi kullanın: her gelen örneği modeli güncellemeden önce tahmin edin ve bu tahminleri kümülatif bir çalışan doğruluk veya F1'e biriktirin. Bu, gereken tutulmuş veri olmadan tarafsız bir performans tahmini sağlar.

İlgili yöntemler

Kaynaklar

  1. Oza, N. C., & Russell, S. (2001). Online Bagging and Boosting. In Artificial Intelligence and Statistics 2001 (pp. 105–112). Morgan Kaufmann.

    Yayın kaynağını aç
    Kopyalandı.
  2. Online machine learning. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.