Çevrimiçi Naive Bayes
- Ortaya koyan
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- Yıl
- 2000s
- Tür
- Probabilistic classifier (online/incremental)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Çevrimiçi Naive Bayes, klasik Naive Bayes sınıflandırıcısının, sınıf-koşullu istatistiklerini gözlem (veya mini-yığın) başına güncelleyen artımlı bir uyarlamasıdır; bu da onu veri akışları, bellekte tutulamayacak kadar büyük veri kümeleri ve yeni etiketli örnekler geldikçe modelin sürekli adapte olması gereken ortamlar için çok uygun hale getirir.
Yöntemin mantığı
Klasik Naive Bayes tüm eğitim verilerini bir kerede okur, sınıf önceliklerini ve özellik olasılıklarını hesaplar ve ardından parametrelerini dondurur. Çevrimiçi Naive Bayes bunun yerine, her yeni örnekle artımlı olarak güncellenen çalışan sayımları veya yeterli istatistikleri (ortalamalar, varyanslar, özellik frekansları) korur. Naive Bayes'in koşullu bağımsızlık varsayımı, olasılığın özellik başına terimlere ayrışması anlamına geldiğinden, her özelliğin istatistikleri bağımsız ve ucuza güncellenebilir, bu da modelin olasılıksal tahmin mekanizmasından ödün vermeden akışlar üzerinde tek geçişli öğrenmeye doğal olarak uygun olmasını sağlar.
Tarih
Naive Bayes'in kökenleri 18. yüzyıla dayanan Bayes istatistiklerine dayanmaktadır, ancak metin sınıflandırıcısı olarak kullanımı 1990'larda popülerleşmiştir (örneğin, McCallum & Nigam, 1998). Çevrimiçi/artımlı varyant, özellikle Domingos ve Hulten'in yüksek hızlı veri akışlarını madenciliği üzerine yaptığı çalışmalarla (KDD 2000) 2000'lerin başlarında veri akışı madenciliği topluluğu tarafından sistematik ilgi görmüştür. Artık akış işleme araç takımlarının standart bir bileşenidir ve scikit-learn'de partial_fit API aracılığıyla doğrudan sunulmaktadır.
Ne zaman kullanılır?
Veriler bir akış olarak geliyorsa veya bir kerede belleğe sığmayacak kadar büyükse, hızlı, düşük bellekli artımlı güncellemelere ihtiyaç duyulduğunda veya modelin yeni örneklere sürekli olarak uyum sağlaması gerektiğinde (örneğin, canlı yayınların metin sınıflandırması, spam filtreleme veya IoT işlem hatlarındaki olay sınıflandırması) Çevrimiçi Naive Bayes'i kullanın. Ayrıca, akış ortamlarında yüksek boyutlu seyrek metin verileri (kelime torbası, TF-IDF) için güçlü bir temel oluşturur. Koşullu bağımsızlık varsayımının ciddi şekilde ihlal edildiği ve toplu modda daha ifade edici bir model eğitmek için yeterli veri olduğu durumlarda, özelliklerin yüksek oranda ilişkili olduğu ve etkileşimleri yakalamanın kritik olduğu durumlarda veya sınıf dağılımlarının düzeltme olmaksızın aşırı dengesiz olduğu durumlarda kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Naif koşullu bağımsızlık varsayımı nadiren tam olarak karşılanır ve özellikler güçlü bir şekilde ilişkiliyken doğruluğu düşürebilir.
- Özellik etkileşimlerini öğrenemez; her özellik sonsal olasılığa bağımsız olarak katkıda bulunur.
- Kavram kayması, varsayılan model tüm tarihsel kanıtları biriktirdiği için açık unutma mekanizmaları (örneğin, kayan pencereler, bozunma faktörleri) gerektirir.
- Gauss Naive Bayes, sınıf başına tek modlu, kabaca Gauss özellik dağılımlarını varsayar, bu da geçerli olmayabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Özellik başına O(1) güncelleme maliyetiyle tek seferde bir örneği işler, bu da onu akış verileri için son derece hızlı ve bellek açısından verimli hale getirir.
- Doğal olarak olasılıksaldır: yalnızca kesin etiketler yerine kalibre edilmiş sınıf-sonsal olasılıkları üretir.
- Önemli bir hız cezası olmaksızın çok yüksek boyutlu özellik alanlarına (örneğin, metin) ölçeklenir.
- Tarihsel verileri saklamaya gerek yoktur; model tamamen yeterli istatistikleriyle tanımlanır.
- Uygulaması ve anlaşılması basittir; koşullu bağımsızlık varsayımı pratikte genellikle beklenenden daha iyi çalışır.
Uygulama alanları
- E-posta veya mesaj akışlarında gerçek zamanlı spam ve kimlik avı tespiti.
- Canlı haber akışları veya sosyal medyadaki artımlı metin sınıflandırması.
- Verilerin sürekli geldiği IoT sistemlerinde sensör olayı sınıflandırması.
- Yüksek boyutlu kelime torbası veya TF-IDF özellik alanları için temel sınıflandırıcı.
- Akış halindeki müşteri incelemeleri veya sosyal gönderiler üzerinde çevrimiçi duygu analizi.
- Belleğe sığmayacak kadar büyük olan ve hızlı bir olasılıksal modelin kabul edilebilir olduğu herhangi bir sınıflandırma görevi.
Nasıl çalışır?
Nasıl çalışır?
Sınıf öncelikleri P(C_k) = N_k / N, başlangıçta mevcut olan etiketli verilerden (veya tekdüze olarak ayarlanmış) başlatılır. Özellik başına yeterli istatistikler — kategorik özellikler için sayımlar, Gauss özellikleri için çalışan ortalama ve varyans — benzer şekilde başlatılır.
Formül
P(C_k) = N_k / N
Yeni bir etiketli örnek (x, y) geldiğinde, sınıf sayısı N_y bir artırılır ve y sınıfı altındaki her bir x_i özelliği için yeterli istatistikler güncellenir: Bernoulli veya Multinomial özellikler için sayımlar artırılır ve Gauss özellikleri için çalışan ortalama ve varyans Welford'un çevrimiçi algoritması kullanılarak güncellenir. Eski örneklere tekrar bakmaya gerek yoktur.
Tahmin zamanında (veya her güncellemeden sonra), özellik başına olasılıklar P(x_i | C_k) mevcut yeterli istatistiklerden hesaplanır. Gauss Naive Bayes için Gauss PDF'i değerlendirilir; Multinomial veya Bernoulli varyantları için düzeltilmiş frekans oranları kullanılır.
Formül
P(x_i | C_k)
Her sınıf için sonsal olasılık, sınıf önceliği ile tüm özellik başına olasılıkların çarpımı olarak hesaplanır, ardından en yüksek sonsal olasılığa sahip sınıf döndürülür. Pratikte logaritmalar kullanıldığı için bu bir toplama haline gelir ve sayısal taşmayı önler.
Formül
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)Sık yapılan hatalar
- Multinomial/Bernoulli varyantları için Laplace (bir ekle) düzeltmesini uygulamayı unutmak, bu da görülmemiş özellik değerleri için sıfır olasılık sorunlarına neden olur.
- Kavram kaymasını göz ardı etmek: unutma veya pencereleme stratejisi olmadan model, durağan olmayan akışlarda yavaşça güncelliğini yitirir.
- Sayım verileri (örneğin, kelime sayımları) için Multinomial Naive Bayes yerine Gauss Naive Bayes kullanmak.
- Model olasılıklarını kontrol etmeden mükemmel kalibre edilmiş olarak kabul etmek; izotonik regresyon veya Platt ölçeklendirmesi gerekebilir.
- Sınıf dengesizliği olduğunda yalnızca doğruluğa göre değerlendirme yapmak; sınıf başına kesinlik, duyarlılık ve F1 kullanın.
Sık sorulan sorular
Çevrimiçi Naive Bayes kavram kaymasını nasıl ele alır?
Varsayılan olarak tüm kanıtları biriktirir, bu nedenle kaymaya yavaş adapte olur. Daha hızlı tepki vermek için bir kayan pencere (yalnızca son örnekleri sayın), üstel unutma (eski gözlemleri daha az ağırlıklandırın) uygulayın veya kayma tespit edildiğinde yeterli istatistikleri sıfırlayın.
Hangi varyantı kullanmalıyım — Gauss, Multinomial veya Bernoulli?
Metin (sayım veya ikili özellik vektörleri) için Multinomial veya Bernoulli Naive Bayes, her sınıf içinde kabaca normal dağılmış sürekli özellikler için ise Gauss Naive Bayes kullanın. Çevrimiçi güncelleme mantığı biraz farklıdır, ancak tüm varyantlar artımlı güncellemeleri destekler.
Çevrimiçi Naive Bayes, daha karmaşık çevrimiçi modellerle rekabet edebilir mi?
Yüksek boyutlu seyrek metinlerde, genellikle çevrimiçi lojistik regresyon veya çevrimiçi SVM ile rekabetçidir ve daha düşük hesaplama maliyetine sahiptir. Yoğun, düşük boyutlu veya yüksek oranda ilişkili özellik kümelerinde, çevrimiçi lojistik regresyon veya gradyan artırma genellikle daha iyi performans gösterir.
Çevrimiçi bir sınıflandırıcıyı nasıl değerlendirmeliyim?
Önsel (önce test et, sonra eğit) değerlendirme kullanın: modeli güncellemeden önce her örneği tahmin edin, ardından güncelleyin. Bu, ayrı bir tutma kümesi olmadan akış performansının tarafsız bir tahminini verir.
Çevrimiçi Naive Bayes'i toplu modda eğitilmiş bir modelden başlatabilir miyim?
Evet. İyi başlangıç yeterli istatistikleri elde etmek için başlangıç veri kümesinde toplu bir Naive Bayes modeli eğitin, ardından artımlı güncellemelere geçin. Bu sıcak başlatma yaklaşımı, rastgele başlatılmış bir modelin soğuk başlatma yanlışlığından kaçınır.
İlgili yöntemler
Kaynaklar
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
DOI kaynağını açKopyalandı.Online machine learning. Wikipedia.
Yayın kaynağını açKopyalandı.