İçeriğe atla
Arama sonuçlarına dön

Yarı denetimli Naive Bayes

Ortaya koyan
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Yıl
2000
Tür
Semi-supervised generative classifier
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı denetimli Naive Bayes, klasik Naive Bayes üretici modelini, küçük bir etiketli veri kümesinin yanı sıra büyük miktarda etiketsiz veriden yararlanacak şekilde genişletir.

Beklenti-Maksimizasyon (Expectation-Maximization) kullanarak, etiketsiz örnekler için yumuşak sınıf atamalarını iteratif olarak çıkarır ve sınıf ve özellik parametrelerini yeniden tahmin eder, böylece etiketli örneklerin az olduğu durumlarda önemli ölçüde daha iyi sınıflandırıcılar elde eder.

Yöntemin mantığı

Klasik Naive Bayes, sınıf olasılıklarını ve özellik olasılıklarını tahmin etmek için etiketli örneklere ihtiyaç duyar. Etiketler pahalı ancak ham veriler bol olduğunda, verideki bilginin çoğu kullanılmadan kalır. Yarı denetimli Naive Bayes, etiketsiz örneklerin bilinmeyen etiketlerini gizli değişkenler olarak ele alarak bu sorunu çözer: mevcut modele göre bu etiketleri tahmin etme (E-adımı) ve bu tahminleri kullanarak modeli iyileştirme (M-adımı) arasında geçiş yapar. Birkaç iterasyon boyunca model, yalnızca etiketli verilerin destekleyebileceğinden çok daha doğru bir parametre tahminine kendi kendine önyükleme yapar.

Tarih

Nigam, McCallum, Thrun ve Mitchell (2000), metin sınıflandırması için yarı denetimli Naive Bayes'i popülerleştirdi ve multinomial Naive Bayes modeliyle EM'nin, küçük bir etiketli küme tarafından desteklenen etiketsiz haber grubu makaleleriyle karşılaştırıldığında, kıyaslama veri kümelerindeki hata oranlarını yarıya indirebileceğini gösterdi. Yaklaşım, daha önceki karışım modelleri için EM çalışmalarına dayanıyordu ve Chapelle ve diğerleri (2006) tarafından kapsamlı bir şekilde tartışılan yarı denetimli öğrenme literatüründe kanonik bir örnek haline geldi.

Ne zaman kullanılır?

Etiketli örneklerin on ila yüzlerce arasında olduğu ancak aynı dağılımdan büyük miktarda etiketsiz verinin mevcut olduğu durumlar için idealdir — metin sınıflandırma, spam filtreleme ve biyomedikal belge kategorizasyonunda yaygın bir durumdur. Özellikler, sınıf verildiğinde koşullu olarak bağımsız olmalıdır (veya yaklaşık olarak öyle), bu da kelime çantası ve sayım tabanlı temsilleri doğal bir uyum haline getirir. Etiketsiz veriler etiketli kümeden farklı bir dağılımdan geldiğinde (kovaryant kayma) kaçının, çünkü EM güncellemeleri yardımcı olmak yerine zarar verebilir; bu durumlarda lambda ağırlıklandırma parametresi ayarlanmalıdır. Koşullu bağımsızlık varsayımının ciddi şekilde ihlal edildiği ve etiket kıtlığından bağımsız olarak ayrımcı bir modelin şiddetle tercih edileceği durumlardan da kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Naive Bayes'in koşullu bağımsızlık varsayımını miras alır; ilişkili özellikler parametre tahminlerini bozar.
  • EM, başlatmaya bağlı olarak yerel bir optimal değere yakınsar; birden fazla rastgele yeniden başlatma gerekebilir.
  • Farklı bir dağılımdan gelen etiketsiz veriler, dikkatlice ağırlıklandırılmadıkça doğruluğu bozabilir (olumsuz transfer).
  • Küçük özellik kümelerinde güçlü özellik korelasyonlarıyla ayrımcı yarı denetimli yöntemlerden (örn. transductive SVM, etiket yayılımı) daha az rekabetçidir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Aksi takdirde atılacak olan etiketsiz verileri verimli bir şekilde kullanır, genellikle gereken etiketli veri miktarını önemli ölçüde azaltır.
  • Hesaplama açısından hızlı: her EM iterasyonu veri boyutuna göre doğrusaldır, bu da onu büyük metin derlemleri için uygun hale getirir.
  • İyi anlaşılmış yakınsama garantilerine sahip (olasılığın yerel bir optimaline) ilkeli olasılıksal çerçeve.
  • Aşağı akış sıralama ve eşikleme sağlayan kalibre edilmiş arka olasılıklar üretir.
  • Uygulaması ve genişletmesi kolaydır — lambda ağırlıklandırması, etiketsiz verilerin etkisini kontrol etmek için pratik bir ayar sağlar.

Uygulama alanları

  • Sınırlı etiketli eğitim verileriyle metin ve belge sınıflandırması.
  • Etiketli spamın az olduğu ancak etiketsiz e-postanın bol olduğu spam ve kimlik avı tespiti.
  • Birkaç etiketli incelemeden önyüklenen duygu analizi.
  • Küçük uzman etiketli alt kümelerle biyomedikal literatür kategorizasyonu (örn. PubMed makale sınıflandırması).
  • Küçük bir el ile etiketlenmiş tohum ve büyük taranmış derlemeler kullanarak web sayfası konu sınıflandırması.
  • Yalnızca geçmiş biletlerin bir kısmının onaylanmış kategori etiketlerine sahip olduğu e-posta veya bilet yönlendirme.

Nasıl çalışır?

Nasıl çalışır?

1

Yalnızca etiketli örnekleri kullanarak ilk bir Naive Bayes modeli eğitin. Bu, sınıf öncelikleri P(y) ve koşullu özellik olasılıkları P(x_j | y) için ilk tahminleri verir — genellikle görülmeyen özellik değerlerini işlemek için Laplace düzeltmesi ile. Elde edilen model, nihai bir sınıflandırıcıdan ziyade EM döngüsü için bir başlangıç noktasıdır.

2

Her etiketsiz örneğe mevcut modeli uygulayarak yumuşak (olasılıksal) sınıf üyelik ağırlıklarını hesaplayın. Her etiketsiz belge veya örnek, arka olasılık P(y | x, theta) oranında tüm sınıflara kesirli olarak atanır. Bu kesirli sayımlar, etiketli verilerden gelen sabit sayımları tamamlar.

Formül
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

Etiketli örneklerden gelen sabit sayımları E-adımında biriken kesirli sayımlarla birleştirerek tüm model parametrelerini — sınıf öncelikleri ve özellik olasılıklarını — yeniden tahmin edin. Etiketsiz örnekler, çıkarılan sınıf ağırlıkları oranında katkıda bulunur, böylece bilgilendirici etiketsiz veriler parametreleri anlamlı bir şekilde kaydırır.

4

Tüm verilerin (etiketli artı etiketsiz) log-olasılığının yakınsamasına veya maksimum iterasyon sayısına ulaşılana kadar E-adımını ve M-adımını tekrarlayın. Bir ağırlık hiper-parametresi lambda, etiketsiz dağılım etiketli olandan farklıysa, olumsuz transferi önleyerek, etiketsiz katkıyı azaltabilir.

5

Yakınsama sağlandıktan sonra, standart Naive Bayes kuralını kullanarak yeni örnekleri sınıflandırın: öğrenilen parametreler altında en yüksek arka olasılığa sahip sınıfı atayın. Çalışma zamanı çıkarımı, sıradan Naive Bayes ile aynıdır — hızlı, kapalı formda ve büyük belge koleksiyonları için uygundur.

Formül
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

Sık yapılan hatalar

  • Etiketli ve etiketsiz veri havuzları arasındaki dağılım uyumsuzluğunu göz ardı etmek — her iki örneğin de aynı görev ve alandan çekildiğinden emin olun.
  • Etiketsiz veri kalitesinin belirsiz olduğu durumlarda lambda ayarlamasını atlamak; lambda=1 varsayılan olarak ayarlamak performansı olumsuz etkileyebilir.
  • Eğitim etiketli kümesinde, ayrılmış bir test kümesi olmadan değerlendirme yapmak, görünen doğruluğu şişirmek.
  • EM yakınsamasını garantili optimalite olarak kabul etmek — her zaman yalnızca etiketli bir temel çizgiye ve basit bir kendi kendine eğitim temel çizgisine karşı karşılaştırın.
  • E-adımı sırasında görülmeyen özellik değerleri için sıfır olasılık çökmelerine neden olan Laplace düzeltmesini unutmak.

Sık sorulan sorular

İyi bir başlangıç modeli elde etmek için ne kadar etiketli örneğe ihtiyacım var?

Metin ve çok sayıda özellik için sınıflar başına 10-50 kadar yeterli olabilir, Laplace düzeltmesi uygulandığı sürece. Daha fazla etiketli örnek her zaman yardımcı olur, ancak yarı denetimli yaklaşım özellikle birkaç yüzden az etiketli örnek olduğunda parlar.

Lambda parametresi nedir ve nasıl ayarlanır?

Lambda, M-adımında etiketsiz örneklerin etiketlilere göre ne kadar ağırlık aldığını kontrol eder (lambda=1 onları eşit kabul eder; lambda=0 onları yok sayar). Etiketli küme üzerinde çapraz doğrulama yoluyla ayarlayın, {0.1, 0.3, 0.5, 1.0} değerleriyle başlayın. Dağılım uyumsuzluğundan şüphelendiğinizde lambda'yı azaltın.

EM her zaman yalnızca etiketli Naive Bayes'ten daha iyi mi olur?

Hayır. Etiketsiz veriler farklı bir dağılımdan geliyorsa, EM parametreleri yanlış yöne kaydırabilir ve hatayı artırabilir. Yarı denetimli modeli dağıtmadan önce her zaman yalnızca etiketli temel çizgiye karşı kıyaslayın.

Bu, Naive Bayes ile kendi kendine eğitimden nasıl farklıdır?

Kendi kendine eğitim, bir güven eşiğinin üzerindeki etiketsiz örneklere sabit etiketler atar, ardından yeniden eğitir. EM aracılığıyla yarı denetimli Naive Bayes, her iterasyonda tüm etiketsiz örneklere yumuşak kesirli etiketler atar, bu istatistiksel olarak daha ilkeli olup, kendi kendine eğitimde oluşabilen güvenli hataların zincirleme reaksiyonunu önler.

Bu, metin dışı tablo verileri için uygun mu?

Evet. Sürekli özellikler için, her sınıf için multinomial olasılığı Gauss (veya diğer parametrik) olasılıklarıyla değiştirin. EM döngüsü yapısı aynıdır; yalnızca M-adımı parametre formülleri değişir.

İlgili yöntemler

Kaynaklar

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    DOI kaynağını aç
    Kopyalandı.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Kopyalandı.