Aktif Öğrenme Gauss Karışım Modeli
- Ortaya koyan
- Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
- Yıl
- 2000s (combination)
- Tür
- Active learning for probabilistic clustering / density estimation
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Gauss Karışım Modeli, iteratif bir sorgu stratejisini bir Gauss Karışım Modeli (GKM) öğrenicisiyle birleştirir.
Algoritma, en bilgilendirici etiketlenmemiş noktaları — tipik olarak en yüksek tahmin belirsizliğine sahip olanları — seçer, etiketlenmeleri için bir oracle'a sunar ve büyüyen etiketli küme üzerinde EM kullanarak GKM'yi yeniden eğitir. Sonuç, tam veri kalitesine ulaşan ancak çok daha az etiketli örneğe ihtiyaç duyan bir yoğunluk modelidir.
Yöntemin mantığı
Veri etiketlemek maliyetlidir. Tüm veriler üzerinde eğitilmiş düz bir GKM iyi çalışır ancak çok sayıda etiketli örneğe ihtiyaç duyar. Aktif öğrenme, şu soruyu sorarak bunu çözer: hangi etiketlenmemiş nokta, şimdi etiketlenirse, karışım bileşenleri hakkındaki belirsizliğimi en çok azaltır? Karar sınırlarına yakın noktalar veya seyrek örneklenmiş bölgelerdeki noktalar en bilgilendirici olanlardır. Yalnızca bu yüksek değerli noktaları sorgulayarak ve her etiket geldiğinde GKM'yi yeniden eğiterek, model etiketleme bütçesinin bir kısmı ile iyi bir performans elde eder. Bu, onu tıbbi görüntüleme veya nadir olay tespiti gibi uzman anotasyonunun maliyetli olduğu görevler için cazip kılar.
Tarih
Beklenti-Maksimizasyon algoritması aracılığıyla Gauss Karışım Modelleri, Dempster, Laird ve Rubin tarafından 1977'de biçimlendirilmiştir. Aktif öğrenme sistematik bir çerçeve olarak Settles tarafından 2000'lerde ortaya konmuş ve yaygın olarak atıfta bulunulan 2012 sentez dersiyle doruğa ulaşmıştır. GKM'lerle aktif sorgulamanın birleşimi, sınırlı anotasyon bütçelerinin olduğu yoğunluk tahmini ve yarı denetimli kümeleme uygulamaları tarafından motive edilerek 2000'ler ve 2010'ların makine öğrenmesi literatüründe ortaya çıkmıştır.
Ne zaman kullanılır?
Bol miktarda etiketlenmemiş sürekli veriniz olduğunda ancak etiketlemenin pahalı veya yavaş olduğu ve olasılıksal bir yoğunluk veya kümeleme modeli istediğinizde Aktif Öğrenme GKM'yi kullanın. Yumuşak küme üyeliği, örtüşen sınıflar ve belirsizlik ölçümü ihtiyacı olan görevler için uygundur — anomali tespiti, tıbbi teşhis veya bilimsel sınıflandırma gibi. Etiketlerin zaten bol ve ucuz olduğu durumlarda, bileşen sayısı K'nın oldukça belirsiz olduğu ve harici olarak doğrulanamadığı durumlarda, boyut azaltma olmadan verilerin yüksek boyutlu olduğu durumlarda (GKM kovaryans tahmini bozulur) veya birincil ihtiyacınız yoğunluk tahmininden ziyade ayrımcılık olduğunda kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Gauss bileşenlerinin sayısını K seçmek, alan bilgisi veya BIC/AIC gibi model seçimi kriterleri gerektirir.
- GKM kovaryans tahmini, ön boyut azaltma olmadan yüksek boyutlu özellik uzaylarında bozulur.
- Aktif öğrenme kazançları, başlangıç etiketli tohumu anlamlı bir modeli başlatmak için çok küçükse azalır.
- Sıralı sorgulama, başlangıç modeli yanlış belirtilmişse etiketli havuzu yanlı hale getirebilecek bir geri bildirim döngüsü oluşturur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Yalnızca en belirsiz örnekleri hedefleyerek etiketleme maliyetini önemli ölçüde azaltır.
- Yalnızca sabit etiketler yerine yumuşak olasılıksal küme atamaları ve tam bir yoğunluk modeli sağlar.
- GKM posteriorundan gelen belirsizlik tahminleri, işlem hattını tutarlı tutarak sorgu kriteri olarak doğrudan kullanılır.
- EM sıcak başlatma, orta derecede büyük veri kümeleri için bile tur başına yeniden eğitimi hızlı hale getirir.
- Orta derecede boyutlu sürekli verilerle iyi çalışır ve örtüşen grupları doğal olarak ele alır.
Uygulama alanları
- Uzman anotasyonunun doku bölgeleri için maliyetli olduğu tıbbi görüntü segmentasyonu.
- Belirsizlik güdümlü etiketleme kullanarak sensör akışlarında nadir olay tespiti.
- Sınırlı doğru etiketlerle bilimsel veri kümeleme (örneğin, galaksi morfolojisi, protein aileleri).
- İteratif uzman geri bildirimi ile endüstriyel kalite kontrolünde anomali puanlaması.
- Fonem düzeyinde anotasyonun zaman alıcı olduğu konuşma ve ses modellemesi.
Nasıl çalışır?
Nasıl çalışır?
Seçilen sayıda bileşen K'ya sahip başlangıçtaki bir GKM, mevcut etiketli veriye uydurulur veya küçük rastgele bir başlangıç kümesinden başlatılır. EM, başlangıç yoğunluk tahminini tanımlayan karışım ağırlıklarını, bileşen ortalamalarını ve kovaryans matrislerini verir.
Etiketlenmemiş her nokta için algoritma bir bilgililik puanı hesaplar — yaygın olarak K bileşeni üzerindeki tahmin entropisi H(y|x,θ) veya en üstteki iki bileşen posterioru arasındaki fark. En yüksek puana sahip nokta bir sonraki sorgu olarak seçilir.
Formül
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)Seçilen nokta, bir küme veya sınıf etiketi sağlayan bir insan uzmanına veya otomatik bir oracle'a sunulur. Bu etiket, etiketli havuza eklenir ve nokta etiketlenmemiş havuzdan çıkarılır.
GKM, güncellenmiş etiketli havuz üzerinde EM kullanılarak yeniden eğitilir. Her turda yalnızca bir veya küçük bir grup nokta eklendiği için, önceki parametrelerden sıcak başlatma, yeniden eğitimi verimli tutar.
Etiketleme bütçesi tükendiğinde, belirsizlik puanları bir eşiğin altına düştüğünde veya modelin tutulan performansında iyileşme durduğunda sorgulama devam eder. Son GKM daha sonra yoğunluk tahmini, kümeleme veya sınıflandırma için kullanılır.
Sık yapılan hatalar
- Aktif olarak seçilen etiketli kümeyi standart çıkarım için bağımsız ve aynı şekilde dağılmış (i.i.d.) bir örneklem olarak ele almak — tasarıma göre yanlı bir örnektir.
- K'yı BIC veya çapraz doğrulama ile log-olabilirlik kontrolü yapmadan erken sabitlemek, yanlış belirtilmiş bileşenlere yol açar.
- Tur başına çok büyük gruplar halinde sorgulama yapmak, aktif seçimin uyarlanabilir faydasını ortadan kaldırır.
- Küçük etiketli havuzlarda kovaryans düzenlileştirmesini (örneğin, küçük bir köşegen terim ekleme) göz ardı etmek, dejeneratif EM güncellemelerine neden olur.
- Etiketli havuz yerine tutulan etiketlenmemiş bir küme üzerinde değerlendirme yapmak, görünen performansı şişirir.
Sık sorulan sorular
Gauss bileşenlerinin sayısını K nasıl seçerim?
Mevcut etiketli veriler üzerinde değişen K ile GKM'ler uydurun ve BIC veya AIC puanlarını karşılaştırın. Etiketli veriler kıt olduğunda, tutulan etiketlenmemiş bir alt küme üzerindeki çapraz doğrulama ile log-olabilirlik daha güvenilirdir. Beklenen küme veya sınıf sayısı hakkındaki alan bilgisi en güvenilir rehberdir.
Tur başına birden fazla nokta sorgulayabilir miyim?
Evet — yığın modu aktif öğrenme, tur başına en belirsiz B noktasını seçer. Daha büyük yığınlar paralel anotasyona izin verir ancak tekil sorgu güncellemesinin uyarlanabilir faydasını azaltır. Pratikte 5-20 arası yığın boyutları yaygındır.
Etiketlenmemiş verilerim yüksek boyutluysa ne olur?
GKM'yi uydurmadan önce PCA veya bir otomatik kodlayıcı uygulayın. GKM'de kovaryans tahmini, etiketli gözlem sayısına göre özellik sayısı arttıkça hızla bozulur ve tam kovaryans matrisleri neredeyse tekil hale gelir.
Bu, yarı denetimli GKM'den nasıl farklıdır?
Yarı denetimli GKM, her EM adımında hem etiketli hem de etiketlenmemiş verileri kullanır, etiketlenmemiş verilerin yoğunluk yapısından yararlanır. Aktif öğrenme GKM, hangi etiketlenmemiş noktaların bir sonraki etiketleneceğine odaklanır ve tipik olarak onları yalnızca etiketli havuzda tutar. İki yaklaşım birleştirilebilir: uydurma için yarı denetimli EM ve neyin etiketleneceğini belirlemek için aktif sorgulama kullanın.
GKM ile aktif öğrenme anomali tespiti için uygun mu?
Evet, ancak dikkatle. Çoğunlukla normal veriler üzerinde eğitilmiş başlangıç GKM, düşük olasılıklı noktaları anomali olarak işaretleyebilir. Bu noktaların aktif sorgulanması, oracle'ın anomalileri onaylamasına veya reddetmesine izin vererek normal ve anormal yoğunluk bölgeleri arasındaki sınırı aşamalı olarak iyileştirir.
İlgili yöntemler
Kaynaklar
Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.
Yayın kaynağını açKopyalandı.Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.
DOI kaynağını açKopyalandı.