İçeriğe atla
Arama sonuçlarına dön

Çevrimiçi Torbalama

Ortaya koyan
Oza, N. C. & Russell, S.
Yıl
2001
Tür
Online ensemble (streaming bagging)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Çevrimiçi Torbalama, Oza ve Russell tarafından 2001'de tanıtılan, klasik bootstrap toplama (Torbalama) çerçevesini çevrimiçi öğrenme ortamına uyarlayan bir akış topluluk yöntemidir.

Sabit bir veri kümesinden yeniden örnekleme yapmak yerine, gelen her örnek, akış geliştikçe bootstrap örneklemesini sadakatle yaklaştıran Poisson(1) dağılımlı bir sayıda her bir temel öğreniciye beslenir. Sonuç, tüm veri kümesini depolamadan kavram kaymasını ve sürekli veri gelişini işleyebilen, sağlam, artımlı olarak güncellenmiş bir topluluktur.

Yöntemin mantığı

Klasik Torbalama, sabit bir veri kümesinden rastgele bootstrap örnekleri çeker ve her örnek için bir ağaç eğitir. Çevrimiçi Torbalama, tüm veri kümesini bir kerede görmeden bunu taklit eder: yeni bir örnek geldiğinde, her temel öğreniciye ortalaması 1 olan bir Poisson dağılımından çekilen rastgele sayıda verilir. Ortalama olarak her öğrenici örneği bir kez görür — bu, toplu modda bootstrap yeniden örneklemenin başardığı şeydir — ancak rastgelelik öğrenicilerin korelasyonunu azaltır. Veri depolamaya gerek olmadığı için, topluluk akışla sonsuza dek büyüyebilir ve zamanla değişen dağılımlara doğal olarak uyum sağlayabilir.

Tarih

Çevrimiçi Torbalama, Nitesh Oza ve Stuart Russell tarafından AISTATS 2001'de Breiman'ın 1996 Torbalama algoritmasının çevrimiçi ortama teorik ve pratik bir uzantısı olarak tanıtıldı. Temel içgörü — bootstrap yeniden örneklemesini örnek başına Poisson(1) ağırlıklandırmasıyla değiştirmek — yaklaşımı matematiksel olarak titiz hale getirdi. Akışlı makine öğrenmesi literatüründe temel bir algoritma haline geldi ve 2010'dan beri akış sınıflandırıcılarının ampirik değerlendirmelerinin çoğunu yönlendiren MOA (Massive Online Analysis) gibi platformlarda temel topluluktur.

Ne zaman kullanılır?

Veri sürekli bir akış olarak geldiğinde ve tam veri kümesinin depolanması imkansız veya yasak olduğunda (örn. sensör günlükleri, tıklama akışları, finansal tick verileri, gerçek zamanlı izleme) Çevrimiçi Torbalama'yı kullanın. Her yeni gözlemle güncellenen, hafif kavram kaymasını tolere eden ve bellek açısından verimli kalan sınıflandırma veya regresyon gerektirdiğinizde uygundur. Sabit, küçük-orta boyutlu bir veri kümesi için toplu Rastgele Orman'ın yerine doğrudan kullanmayın — çapraz doğrulama ile toplu topluluklar orada daha iyi performans gösterecektir. Ayrıca, açık bir kavram kayması algılama mekanizması eklenmeden ciddi ani kayma sergileyen veri akışından kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Statik veri kümelerinde, Rastgele Orman veya XGBoost gibi toplu yöntemler, tam çapraz doğrulama ve optimal bölmeleri kullanabildikleri için tutarlı bir şekilde Çevrimiçi Torbalama'dan daha iyi performans gösterir.
  • Temel Çevrimiçi Torbalama, ciddi kavram kaymasına karşı yalnızca sınırlı bir dayanıklılık sunar; özel kayma dedektörleri (örn. ADWIN) harici olarak eklenmelidir.
  • Poisson ağırlıklandırması, örnek başına ek varyans getirir, bu da kısa akışlarda yakınsamayı yavaşlatabilir.
  • Yorumlanabilirlik düşüktür: birçok artımlı olarak büyütülen ağaçtan oluşan topluluğun tek bir karar ağacından incelenmesi daha zordur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Veriyi sabit bellekle tek seferde işler, gerçekten sınırsız akışları etkinleştirir.
  • Poisson ağırlıklandırması, toplu Torbalama'ya kıyasla topluluk varyans azalması sağlayan bootstrap yeniden örneklemesini kanıtlanmış şekilde yaklaştırır.
  • Doğal olarak paralelleştirilebilir: her temel öğrenici bağımsız olarak güncellenir, bu da onu dağıtılmış akış mimarileri için uygun hale getirir.
  • Ağaç derinliği kadar hassas bir hiperparametre yoktur — topluluk çeşitlilik yoluyla kendi kendini düzenler.
  • Yapısal değişiklikler olmaksızın çok sınıflı sınıflandırma ve regresyona doğrudan genişletilir.

Uygulama alanları

  • Sürekli işlem akışlarında gerçek zamanlı dolandırıcılık tespiti.
  • Endüstriyel IoT ortamlarında sensör verisi akışlarından tahmine dayalı bakım.
  • Kullanıcı davranışının sürekli geliştiği çevrimiçi reklamlarda tıklama oranı tahmini.
  • Yüksek verimli paket akışlarında ağ saldırısı tespiti.
  • Çevresel izleme: hava kalitesi veya hava durumu sensör okumalarının artımlı sınıflandırılması.

Nasıl çalışır?

Nasıl çalışır?

1

Gelen her örnek için, her temel öğrenici için bağımsız olarak Poisson(1) dağılımından bir k ağırlığı örneklenir. 0 ağırlığı, öğrenicinin bu örneği tamamen atladığı anlamına gelir; 2 ağırlığı, örneği iki kez öğrendiği anlamına gelir. Bu stokastik ağırlıklandırma, bootstrap yeniden örneklemenin çevrimiçi analoğudur ve algoritmanın matematiksel çekirdeğidir.

Formül
k \sim \text{Poisson}(1)
2

Her bir temel öğrenici — tipik olarak bir Hoeffding Ağacı gibi artımlı bir karar ağacı — mevcut örneği atanmış ağırlığıyla alır ve iç modelini hemen günceller. İşlemden sonra hiçbir örnek depolanmaz. Bu tek geçişli özellik, belleği sınırlı tutar ve topluluğun keyfi olarak uzun akışlara ölçeklenmesini sağlar.

3

Bir tahmin gerektiğinde, tüm M temel öğrenici sorgu örneği için bireysel çıktılarını üretir. Topluluk, sınıflandırma için çoğunluk oyuyla veya regresyon için aritmetik ortalama ile bunları birleştirir, toplu Torbalama ile aynı toplu mantığı verir ancak artımlı olarak eğitilmiş modeller üzerinde hesaplanır.

Formül
\hat{y} = \text{mode/mean of } M \text{ base learners}

Sık yapılan hatalar

  • Çevrimiçi Torbalama'yı eğitim başlamadan önce oluşturulan tutulmuş bir test kümesiyle değerlendirmek — bunun yerine akışlı makine öğrenmesinde standart olan önsel (test-sonra-eğit) değerlendirmeyi kullanın.
  • Temel öğrenici sayısının (genellikle 10) yeterli olduğunu varsaymak; kararlı tahminler için tipik olarak en az 50-100 öğrenici içeren topluluklar gerekir.
  • Kavram kaymasını göz ardı etmek: Çevrimiçi Torbalama'yı kayma algılama olmadan kayan bir akış üzerinde dağıtmak, sessiz doğruluk düşüşüne yol açar.
  • Çevrimiçi Torbalama'nın yetersiz olduğu sonucuna varmak için statik bir kıyaslama üzerindeki doğruluğu toplu yöntemlerle karşılaştırmak — doğru karşılaştırma, akışlı bir kıyaslama üzerinde görülen örnek başına doğruluğudur.
  • Gerçekten artımlı olmayan temel öğreniciler kullanmak (örn. yeniden eğitilmiş toplu ağaçlar), çevrimiçi çerçevenin bellek ve hız avantajlarını ortadan kaldırır.

Sık sorulan sorular

Neden özellikle Poisson(1)?

Ortalaması 1 olan bir Poisson dağılımı, n sonsuza yaklaştıkça n boyutlu bir bootstrap örneğinde bir gözlemin görünme sayısını yaklaştırır. Örnek başına öğrenici başına Poisson(1) kullanmak, bu sınırlayıcı davranışı tam olarak tekrarlar ve çevrimiçi yaklaşımı teorik olarak sağlam hale getirir.

Çevrimiçi Torbalama, Adaptif Rastgele Orman'dan nasıl farklıdır?

Adaptif Rastgele Orman (Gomes vd., 2017), her bölmede rastgele özellik alt örneklemesi (toplu Rastgele Orman gibi) ekleyerek ve kavram kayması algılandığında bireysel öğrenicileri sıfırlayan ağaç başına kayma dedektörleri entegre ederek Çevrimiçi Torbalama'yı genişletir. Çevrimiçi Torbalama daha basit temeldir; Adaptif Rastgele Orman, bunun üzerine inşa edilmiş mevcut en gelişmiş akış topluluğudur.

Hangi temel öğreniciyi kullanmalıyım?

En yaygın seçim, kanonik artımlı karar ağacı olan Hoeffding Ağacı'dır (VFDT olarak da adlandırılır). Ağaçta bir düğümde bölmek için yeterli veri görülüp görülmediğine karar vermek için Hoeffding sınırlarını kullanır, bu da geçmiş örnekleri depolamadan ağacı güncellenebilir tutar.

Kaç temel öğreniciye ihtiyacım var?

MOA çerçevesindeki ampirik kıyaslamalar, çoğu akışlı görevde kararlı topluluk performansı için 50-100 temel öğrenici önerir. Daha az öğrenici hesaplama maliyetini azaltır ancak tahmin varyansını artırır, özellikle akışın başlarında.

Bir Çevrimiçi Torbalama sınıflandırıcısı nasıl değerlendirilmelidir?

Önsel değerlendirme kullanın: gelen her örnek için önce etiketini tahmin edin, sonra modeli güncelleyin. Doğruluk, doğru tahminlerin sürekli ortalaması olarak hesaplanır. Bu, herhangi bir ileriye dönük yanlılığı önler ve gerçek dağıtım koşullarını yansıtır.

İlgili yöntemler

Kaynaklar

  1. Oza, N. C., & Russell, S. (2001). Online bagging and boosting. In Proceedings of the Eighth International Workshop on Artificial Intelligence and Statistics (AISTATS 2001), pp. 105–112.

    Yayın kaynağını aç
    Kopyalandı.
  2. Bifet, A., Holmes, G., Kirkby, R., & Pfahringer, B. (2010). MOA: Massive Online Analysis. Journal of Machine Learning Research, 11, 1601–1604.

    Yayın kaynağını aç
    Kopyalandı.