Yarı Denetimli Gauss Karışım Modeli
- Ortaya koyan
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Yıl
- 2000
- Tür
- Generative semi-supervised classifier
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli Gauss Karışım Modeli (SS-GMM), Beklenti-Maksimizasyon (EM) algoritmasını kullanarak hem etiketli hem de etiketsiz verilere bir Gauss karışımı uyduran üretken olasılıksal bir sınıflandırıcıdır.
Etiketli noktalar bileşen atamalarını kısıtlarken, etiketsiz noktalar yoğunluk tahminlerini iyileştirir ve bu da sınırlı sayıda etiket olduğunda etkili öğrenmeyi sağlar.
Yöntemin mantığı
Birkaç etiketli örneğiniz ve çok sayıda etiketsiz örneğiniz olduğunu hayal edin. Tamamen denetimli bir model, etiketsiz verileri tamamen göz ardı eder; tamamen kümeleme ise etiketlerinizi göz ardı eder. SS-GMM bu iki durumu birleştirir: veriyi Gauss kümelerinden oluşan bir karışım olarak modeller, etiketli noktaları doğru bileşenlerine kilitler ve etiketsiz noktaların bileşenler arasında olasılıksal olarak kaymasına izin verir. EM yinelemeleri, Gaussları tüm veri bulutunu daha iyi tanımlayacak şekilde ayarlamaya devam eder, böylece az sayıdaki etiket, paylaşılan yoğunluk yapısı aracılığıyla etiketsiz çoğunluğa yayılır.
Tarih
Yarı denetimli GMM'ler, 1990'ların sonlarındaki daha geniş yarı denetimli öğrenme literatüründen ortaya çıkmıştır. Nigam ve ark. (2000), EM'yi Naive Bayes üretken modeli (köşegen GMM'nin özel bir durumu) üzerinde kullanarak metin sınıflandırması için yaklaşımı göstermiş ve etiketsiz belgelerden ölçülebilir kazançlar elde etmiştir. Genel çerçeve, Chapelle, Scholkopf ve Zien (2006) tarafından hazırlanan etkili MIT Press kitabında pekiştirilmiş ve SS-GMM'yi ayrımcı ve graf tabanlı alternatiflerin yanı sıra yarı denetimli sınıflandırma için kanonik bir üretken yaklaşım olarak kabul ettirmiştir.
Ne zaman kullanılır?
Etiketli örneklerin az olduğu ancak etiketsiz verilerin bol olduğu ve altta yatan sınıf koşullu dağılımların yaklaşık olarak Gauss olduğu veya dönüşüm yoluyla bu hale getirilebildiği durumlarda SS-GMM kullanın. Düşük ila orta boyutlu sürekli özellik uzayları için uygundur (boyut azaltma olmadan yaklaşık 20-50 özelliğe kadar). Özellikler yüksek derecede Gauss-dışı veya kategorik olduğunda, sınıf sayısı etiketli örneklere göre büyük olduğunda, küme yapısı sınıf sınırlarıyla uyumlu olmadığında (küme varsayımı ihlal edildiğinde) veya yarı denetimli SVM veya etiket yayılımı gibi ayırt edici (diskriminatif) bir model veri geometrisine daha iyi uyduğunda bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Gauss varsayımının güçlü bir şekilde ihlal edildiği durumlarda model uyumu bozulur — doğrusal olmayan dönüşümler veya çekirdek yöntemleri gerekebilir.
- EM yerel bir optimuma yakınsar; sonuçlar başlatmaya duyarlıdır ve birden fazla yeniden başlatma gereklidir.
- Yüksek boyutlu veriler (boyutluluk laneti), düzenlileştirme veya boyut azaltma olmadan kovaryans tahminini güvenilmez hale getirir.
- Küme varsayımı geçerli olmadığında (kümeler sınıf sınırlarıyla uyumlu olmadığında) etiketsiz veriler yardımcı olmak yerine zarar verebilir.
- Düzenlileştirme veya boyut azaltma olmadan çok büyük etiketsiz veri kümelerine kötü ölçeklenir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketlerin pahalı veya nadir olduğu durumlarda parametre tahminini iyileştirmek için etiketsiz verilerden yararlanır.
- Kalibre edilmiş belirsizlik nicelemesine olanak tanıyan, ilkeli olasılıksal sınıf sonsal olasılıkları sağlar.
- İyi anlaşılmış EM yakınsama garantilerine sahip, matematiksel olarak şeffaf üretken bir model sunar.
- Doğrudan çok sınıflı problemler için, bir-karşı-hepsi ayrımı olmadan doğal olarak başa çıkar.
- Sınıf içi çok modlu dağılımları yakalamak için her sınıf için birden fazla Gauss ile genişletilebilir.
Uygulama alanları
- Yalnızca metinlerin küçük bir kısmının manuel olarak etiketlenebildiği metin ve belge sınıflandırması.
- Uzman etiketlemesinin (anotasyonunun) maliyetli olduğu ve etiketsiz taramaların bol olduğu tıbbi görüntü analizi.
- Kısmi sınıf etiketleriyle gen kümelemesi gibi biyoinformatik görevleri.
- Seyrek gerçek etiketlerin seyrek olduğu IoT uygulamalarındaki sensör ve zaman serisi veri sınıflandırması.
- Bol miktarda etiketsiz veriden normal sınıf yoğunluğunu modelleyerek yarı denetimli anomali tespiti.
- Derin öğrenmenin baskın hale gelmesinden önceki doğal dil işleme özelliği öğrenimi.
Nasıl çalışır?
Nasıl çalışır?
Karışım parametrelerini — bileşen ortalamaları, kovaryansları ve karışım ağırlıkları — yalnızca etiketli alt kümeden (örneğin, sınıf koşullu ortalamalar) veya mevcut tüm veriler üzerinde k-means yoluyla başlatın. Bileşen sayısı K tipik olarak bilinen sınıf sayısına eşit olarak ayarlanır, ancak sınıf başına birden fazla bileşen mümkündür.
Her etiketsiz nokta için, mevcut parametreler verildiğinde i noktasının k bileşenine ait olma olasılığı olan yumuşak sorumlulukları hesaplayın. Etiketli noktalara katı atamalar verilir — doğru sınıf bileşenine olan sorumlulukları bir ve diğer her şey için sıfır olarak ayarlanır — bu da EM çerçevesini bozmadan denetimi zorlar.
Formül
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}Etiketli noktalara uygulanan katı atama kısıtlaması, denetimsiz GMM'den temel farktır. Bileşen kimliğini sınıf anlamına bağlar, bilinen etiket değişimi (label switching) sorununu önler ve etiketsiz verilerden öğrenilen küme yapısının bilinen sınıflar açısından yorumlanabilir olmasını sağlar.
Hem etiketli hem de etiketsiz noktalardan gelen sorumluluk ağırlıklı istatistikleri birleştirerek tüm karışım parametrelerini güncelleyin. Etiketsiz noktalar her bileşene kesirli sayılarla katkıda bulunduğundan, etiketli verilerin seyrek olduğu bölgelerde parametre tahminlerini etkili bir şekilde düzeltir ve kararlılaştırır.
Formül
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}Gözlemlenen veriye ait log-olabilirlik (hem etiketli hem de etiketsiz noktalara göre toplanmış) küçük bir toleransın ötesinde artmayı bırakana kadar E- ve M-adımlarını tekrarlayın. Yakınsamayı dikkatlice izleyin: EM yerel bir optimuma yakınsadığı ve nihai çözüm başlatmaya bağlı olduğu için birden fazla rastgele yeniden başlatma önerilir.
Yakınsamış parametreler verildiğinde en yüksek sonsal olasılığa sahip bileşeni bularak yeni bir noktayı sınıflandırın. Tahmin edilen sınıf, o bileşenle ilişkili etikettir. Bileşenler arasındaki sonsal olasılıklar, kalibre edilmiş güven puanları olarak da işlev görür.
Formül
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)Sık yapılan hatalar
- İlk yakınsayan çözümü kabul ederek tek bir EM başlatması çalıştırmak — her zaman birden fazla yeniden başlatma kullanın.
- Sınıf başına K'yı, sınıf içi çok modluluğu dikkate almadan sınıfların sayısına eşitlemek, zayıf yoğunluk yakalamaya yol açar.
- Modeli, önce boyut azaltma veya kovaryans matrislerini düzenlileştirme (örneğin, köşegen veya bağlı (tied) kovaryans) yapmadan yüksek boyutlarda uygulamak.
- Etiketsiz verilerin her zaman yardımcı olacağını varsaymak — eğer küme ve manifold varsayımları ihlal edilirse, etiketsiz veriler doğruluğu düşürebilir.
- Etiketli log-olabilirlik terimini uygun şekilde ağırlıklandırmamak; yaygın bir çözüm, etiketli nokta katkılarını lambda faktörüyle artırmaktır.
Sık sorulan sorular
SS-GMM, tamamen denetimsiz bir GMM'den nasıl farklıdır?
Denetimsiz bir GMM, sınıf etiketleri hakkında hiçbir bilgi olmadan küme yapısını bulur ve etiket değişimi (label switching) sorunundan etkilenir — küme indeksleri anlamsal bir anlam taşımaz. SS-GMM, her E-adımı sırasında etiketli noktaları doğru bileşenlerine sabitler, küme kimliğini sınıf anlamına bağlar ve etiketsiz noktaların yoğunluk tahminlerini iyileştirmesine izin verir.
Etiketsiz veriler doğruluğumu neden olumsuz etkiliyor olabilir?
Bu, 'küme varsayımı ihlali' sorunudur: eğer sınıf sınırları doğal yoğunluk kümeleriyle uyumlu değilse, etiketsiz veriler modeli yanlış yöne yönlendirir. Tanılama adımları arasında veriyi 2B'de görselleştirmek (PCA/t-SNE), etiketli noktalara olan ağırlığı lambda artırmak veya yarı denetimli SVM gibi ayrımcı bir yarı denetimli yönteme geçmek yer alır.
Sınıf başına kaç Gauss bileşeni kullanmalıyım?
Sınıf başına bir bileşenle başlayın. Eğer bir sınıfın açıkça çok modlu bir yapısı varsa (örneğin, iki alt popülasyon), o sınıf için iki veya daha fazla bileşene izin verin. Aşırı uyum olmadan model sıralarını karşılaştırmak için etiketli alt küme üzerinde BIC veya tutulan olabilirlik kullanın.
Tam, köşegen veya bağlı (tied) kovaryans matrisleri kullanmalı mıyım?
Tam kovaryans en esnek olanıdır ancak bileşen başına çok sayıda örnek gerektirir. Çapraz kovaryans (özelliklerin bağımsız olduğu varsayılır), orta ila yüksek boyutlarda en güvenli varsayılan değerdir. Bağlı kovaryans (tüm bileşenler tek bir matrisi paylaşır) parametreleri daha da azaltır ve sınıfların benzer yayılıma sahip olduğu durumlarda uygundur.
Etiketli ve etiketsiz katkılar için bir ağırlık var mı?
Evet. Yaygın bir uzantı, genellikle çok daha fazla sayıda etiketsiz noktayı telafi etmek için etiketli log-olabilirliği lambda > 1 faktörüyle çarpar. Bunun olmadan, etiketsiz çoğunluk parametre güncellemelerinde baskın olabilir ve denetim sinyalini ortadan kaldırabilir.
İlgili yöntemler
Kaynaklar
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Kopyalandı.Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
DOI kaynağını açKopyalandı.