İçeriğe atla
Arama sonuçlarına dön

Bayesçi Gauss Karışım Modeli

Ortaya koyan
Attias, H.; Bishop, C. M.
Yıl
1999–2006
Tür
Probabilistic clustering / density estimation
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bayesçi Gauss Karışım Modeli (BGKM), tüm karışım parametreleri üzerine önsel dağılımlar yerleştirir ve sabit nokta tahminleri uydurmak yerine, tipik olarak Varyasyonel Bayes veya MCMC aracılığıyla, bunların ardıllarını çıkarır.

Bu yaklaşım, prensipli belirsizlik nicelemesi, etkin bileşen sayısının otomatik seçimi ve küçük veri kümelerinde aşırı uyuma karşı direnç sağlar.

Yöntemin mantığı

Standart bir GMM, kaç küme uydurulacağını sorar ve ardından bu sayıya bağlı kalarak, EM algoritması ile sabit ortalamaları ve kovaryansları optimize eder. Bayesçi versiyon ise her parametre üzerinde olasılık dağılımları tutar: her kümenin konumu, şekli ve hatta bir kümeye hiç ihtiyaç olup olmadığı konusunda belirsizliğini korur. Veri tarafından desteklenmeyen bileşenler, önsel aracılığıyla otomatik olarak sıfır ağırlığa doğru küçültülür, böylece model, birçok K değeri üzerinden çapraz doğrulamalı model seçimi yapmadan kendi etkin karmaşıklığını belirleyebilir.

Tarih

Karışım modellerinin Bayesçi yaklaşımı, 1990'larda MCMC örnekleyicileri aracılığıyla resmileştirilmiştir. Attias (1999), GMM'lere varyasyonel Bayes yaklaşımını tanıtmış ve çerçeve, Bishop (2006) tarafından Pattern Recognition and Machine Learning adlı eserinde popülerleştirilmiş ve sistemleştirilmiştir; bu eserin 10. Bölümü tam türetmeyi sunar. Gerçekten açık uçlu K'ye izin veren Dirichlet Süreç öncellerini kullanan parametrik olmayan uzantılar, Rasmussen (2000) ve Blei & Jordan (2006) tarafından takip edilmiştir.

Ne zaman kullanılır?

Sürekli çok değişkenli veriler üzerinde olasılıksal yumuşak kümeleme veya yoğunluk tahmini gerektiğinde ve bileşen sayısı K'yi önceden sabitlemekten kaçınmak istediğinizde veya küme atamaları ve parametreler etrafındaki belirsizlik tahminlerine ihtiyacınız olduğunda kullanın. Standart EM GMM'lerin aşırı uyum sağladığı küçük ila orta büyüklükteki veri kümeleri (onlarca ila on binlerce gözlem) için idealdir. Boyut indirgeme yapılmadan çok yüksek boyutlu veriler için, yalnızca kategorik veya sıralı özellikler için veya olasılıksal olmayan katı bir bölümlemenin yeterli olduğu ve hızın çok önemli olduğu durumlarda uygun değildir.

Sınırlar ve dikkat edilmesi gerekenler

  • Varyasyonel Bayes, ELBO'nun yerel bir optimumunu bulur, küresel ardılı değil; sonuçlar başlatmaya bağlı olabilir.
  • Önsel hiperparametrelerin seçimi (özellikle Dirichlet konsantrasyonu), hangi bileşenlerin hayatta kalacağını etkiler ve gerekçelendirilmelidir.
  • Standart EM-GMM'ye göre iterasyon başına hesaplama açısından daha pahalıdır ve sıfırdan uygulaması daha zordur.
  • Yüksek boyutlu veriler (çok sayıda özellik), dikkatli kovaryans parametrizasyonu veya önsel boyut indirgeme gerektirir.
  • Bileşen ardıllarını yorumlamak, varyasyonel çıkarım kavramlarına aşinalık gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Kullanılmayan bileşenleri otomatik olarak budar, tekrarlanan ızgara aramalarıyla K'yi önceden belirtme ihtiyacını azaltır.
  • Parametreler üzerinde tam ardıl dağılımlar döndürür, küme atamaları üzerinde kalibre edilmiş belirsizlik nicelemesi sağlar.
  • Önsel, bileşen kovaryanslarını ve ağırlıklarını düzenlediği için küçük veri kümelerinde aşırı uyuma karşı dirençlidir.
  • Yumuşak atamalar, sonraki olasılıksal işlem hatları ve karışım yoğunluk ağları için uygun hale getirir.
  • Varyasyonel Bayes uygulaması, tam MCMC'den daha iyi ölçeklenir ve Bayesçi faydaları korur.

Uygulama alanları

  • Konuşmacı sayısının bilinmediği konuşmacı günlüğü ve ses segmentasyonu.
  • Öğrenilen tüm bileşenler altında düşük olasılık atanan gözlemleri tanımlayarak anomali tespiti.
  • Yumuşak piksel-küme üyeliği ile görüntü segmentasyonu ve renk nicelemesi.
  • Üretken modelleme ve sürekli çok değişkenli verilerin simülasyonu için yoğunluk tahmini.
  • Gerçek alt tip sayısının belirsiz olduğu genomik veya klinik hasta profillerinin kümelenmesi.
  • Varyasyonel otoenkoderler gibi daha karmaşık üretken modellerin başlatılması.

Nasıl çalışır?

Nasıl çalışır?

1

Karışım oranları (Dirichlet), bileşen ortalamaları (Gauss) ve kesinlik matrisleri (Wishart) üzerine eşlenik önsel dağılımlar yerleştirilir. Dirichlet konsantrasyon parametresi, karışım ağırlığının bileşenler arasında ne kadar yayıldığını kontrol eder: küçük bir değer, ağırlığı az sayıda kümeye iter ve gereksiz bileşenleri etkili bir şekilde cezalandırır.

Formül
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

Varyasyonel E-adımı, nokta tahminleri yerine log karışım ağırlıklarının ve log kesinlik determinantlarının mevcut beklentilerini kullanarak yumuşak sorumluluklar r_nk'yi (n gözleminin k bileşenine ait olma olasılığının yaklaşık ardılı) hesaplar, böylece parametre belirsizliği küme atamalarına yayılır.

Formül
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

Her bileşen için yeterli istatistikler, yumuşak sorumluluklardan toplanır: etkin sayım N_k, ağırlıklı ortalama ve ağırlıklı saçılım matrisi. Bunlar, katı sayım EM eşdeğerlerinin yerini alır ve sonraki parametre ardıl güncellemelerini yönlendirir.

Formül
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

Her eşlenik ardılın doğal parametreleri, yeterli istatistiklerin önsel hiperparametrelerine eklenmesiyle güncellenir. Dirichlet ardılı, düşük N_k değerine sahip bileşenleri sıfır ağırlığa doğru küçülterek, kullanılmayan kümelerin otomatik budanmasını uygular.

Formül
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

Yakınsama, Log Marjinal Olabilirlik için bir alt sınır olan Kanıt Alt Sınırı (ELBO) tarafından izlenir. ELBO'nun her varyasyonel EM döngüsünde azalmadığı garanti edilir; iyileşme bir toleransın altına düşene kadar iterasyon devam eder.

Formül
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

Sık yapılan hatalar

  • Başlangıçtaki bileşen sayısı K'yi çok küçük ayarlamak, kullanılmayan bileşenler budansa bile modelin tüm gerçek yapıyı keşfetmesini engeller.
  • Kısa bir hiperparametre taraması yapmadan Dirichlet önsel konsantrasyonuna duyarlılığı göz ardı etmek.
  • Tek bir rastgele başlatmaya güvenmek; en iyi ELBO seçimi ile birden fazla yeniden başlatma önemlidir.
  • Özellikleri yaklaşık olarak sürekli Gauss formuna dönüştürmeden modeli ayrık veya karma tipli verilere uygulamak.
  • Modelin temel olasılıksal çıktısı olan yumuşak sorumlulukları göz ardı ederek yalnızca küme etiketlerini raporlamak.

Sık sorulan sorular

Bu, standart EM ile uydurulan bir GMM'den nasıl farklıdır?

Standart EM, nokta tahminleri (sabit ortalamalar, kovaryanslar, ağırlıklar) verir ve uydurmadan önce K'yi sabitlemeyi gerektirir. Bayesçi GMM, tüm parametreler üzerinde tam ardılları çıkarır, boş bileşenleri otomatik olarak budar ve parametre belirsizliğini tahminlere yayar.

Başlangıçtaki bileşen sayısı K'yi nasıl seçerim?

K'yi beklediğiniz küme sayısından cömertçe daha büyük ayarlayın. Dirichlet önseli, etkin sayımı küçültecektir: veri tarafından desteklenmeyen bileşenler sıfıra yakın ağırlık biriktirir ve otomatik olarak budanır. Yaygın bir sezgisel, K = 2 × (beklenen küme sayısı) ile başlamaktır.

Bu model için Varyasyonel Bayes her zaman MCMC'den daha mı iyidir?

Varyasyonel Bayes daha hızlı ve deterministiktir ancak ardılı, belirsizliği hafife alabilen faktörlü bir dağılımla yaklaştırır. MCMC asimptotik olarak kesindir ancak maliyetlidir. Orta büyüklükteki verilerle çoğu pratik problem için Varyasyonel Bayes pragmatik bir seçimdir.

Hangi hiperparametreler en çok önemlidir?

Dirichlet konsantrasyonu alpha_0, bileşenlerin ne kadar agresif budandığını kontrol eder. Küçük bir değer (örn. 0.01 ila 1), seyrek çözümleri destekler; büyük bir değer ağırlığı daha eşit dağıtır. Wishart serbestlik dereceleri nu_0 ve ölçek W_0, kovaryans şekillerinin ne kadar kısıtlı olduğunu kontrol eder.

Bunun yerine ne zaman bir Dirichlet Süreç GMM kullanmalıyım?

Üst sınır K'yi hiç belirtmeyi gerektirmeyen tamamen parametrik olmayan bir yaklaşım istediğinizde bir Dirichlet Süreç (sonsuz karışım) GMM kullanın. Bunun karşılığı, daha yüksek uygulama karmaşıklığı ve daha yavaş çıkarımdır.

İlgili yöntemler

Kaynaklar

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN: 978-0-387-31073-2
    Kopyalandı.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    Yayın kaynağını aç
    Kopyalandı.