İçeriğe atla
Arama sonuçlarına dön

Gauss Karışım Modeli

Ortaya koyan
Dempster, Laird & Rubin (EM algorithm)
Yıl
1977
Tür
Probabilistic (soft) clustering — mixture model

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Gauss Karışım Modeli (GMM), veriyi, Dempster, Laird & Rubin tarafından 1977'de biçimselleştirilen Beklenti-Maksimizasyon algoritması ile uyarlanan, birkaç Gauss dağılımının ağırlıklı bir karışımı olarak modelleyen olasılıksal bir kümeleme yöntemidir.

Her kümenin kendi şeklini, boyutunu ve yönelimini alabilmesiyle K-means'in bir genellemesidir.

Yöntemin mantığı

Verinin, her biri kendi merkezine, yayılımına ve eğimine sahip, örtüşen birkaç çan şeklinde buluttan noktalar çekilerek üretildiğini hayal edin. Gauss Karışım Modeli, bu gizli bulutların ters mühendisliğini yapmaya çalışır: kaç tane çan olduğunu ve nerede oturduklarını sorar ve her noktayı tek bir kümeye zorlamak yerine, her noktaya her bileşene ait olma olasılığını verir. Bu yumuşak atama, K-means gibi sert, küresel bir yöntemin yanlış böleceği gerilmiş veya döndürülmüş kümeleri yakalamasını sağlar.

Tarih

Gauss Karışım Modellerini destekleyen Beklenti-Maksimizasyon algoritması, Dempster, Laird & Rubin tarafından 1977 tarihli eksik veriden maksimum olabilirlik üzerine makalelerinde biçimselleştirilmiştir; bu makale, kümelemeyi gizli bir karışımın parametrelerini tahmin etme olarak çerçevelemiştir. Karışım modeli görünümü, kümelemeyi bir olabilirlik problemine dönüştürür ve bugün yaygın olarak kullanılan model tabanlı kümeleme araçlarının temelini oluşturur.

Ne zaman kullanılır?

Kümeleme veya sürekli, kabaca Gauss şeklinde verileri, kümelerin örtüşebileceği, boyutlarının farklı olabileceği veya küresel yerine uzatılmış olabileceği ve sert etiketler yerine yumuşak olasılıksal üyelikler istediğiniz durumlar için Gauss Karışım Modeli kullanın. Verinin Gauss karışımından üretildiği varsayılır, sürekli değişkenler üzerinde çalışır ve en az yaklaşık 50 gözlem gerektirir. Bileşen sayısı BIC veya AIC ile seçilebilir ve PCA ön işleme boyutluluk lanetine karşı tavsiye edilir. Yaklaşık 50 gözlemden az olduğunda veya Gauss varsayımı başarısız olduğunda, K-means daha sağlam bir seçenektir.

Sınırlar ve dikkat edilmesi gerekenler

  • Verinin bir Gauss karışımından üretildiği varsayılır; sonuçlar bu varsayım başarısız olduğunda zarar görür.
  • EM yerel bir optimuma yakınsayabilir, bu nedenle sonuçlar başlatmaya bağlıdır.
  • Kovaryans matrisleri, özellikle yüksek boyutlarda veya küçük örneklemlerde tekil hale gelebilir.
  • En az yaklaşık 50 gözlem gerektirir ve boyutluluk lanetinden kaçınmak için PCA ön işlemesinden faydalanır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Zorlanmış sert atamalar yerine yumuşak, olasılıksal küme üyelikleri.
  • Her bileşenin kendi kovaryansı vardır, bu nedenle kümeler uzatılmış, döndürülmüş veya farklı boyutlarda olabilir.
  • Küresel, eşit boyutlu küme varsayımını gevşeten K-means'in gerçek bir genellemesi.
  • Bileşen sayısı BIC veya AIC gibi bilgi kriterleri ile objektif olarak seçilebilir.

Uygulama alanları

  • Kümelerin örtüştüğü sürekli verilerin yumuşak, olasılıksal kümelenmesi.
  • Farklı şekil veya boyutlarda kümelere sahip alt popülasyonların keşifsel analizi.
  • Veriyi ağırlıklı Gauss karışımları olarak temsil ederek yoğunluk tahmini.
  • Küresel, eşit boyutlu kümelerin gerçekçi olmadığı durumlarda K-means'e daha esnek bir alternatif.

Nasıl çalışır?

Nasıl çalışır?

1

Veri, K Gauss dağılımının ağırlıklı bir toplamından geliyormuş gibi ele alınır. Her bileşenin bir karışım ağırlığı, bir ortalama vektörü ve bir kovaryans matrisi vardır, bu nedenle tek bir bileşen küreye zorlanmak yerine uzatılmış veya eğilmiş olabilir. Amaç, gözlemlenen veriyi en olası kılan ağırlıkları, ortalamaları ve kovaryansları bulmaktır.

Formül
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

E-adımında, model her gözlem için her bileşenin sorumluluğunu hesaplar — noktanın o Gauss tarafından üretilmiş olma olasılığı. Bu yumuşak üyelikler, K-means'in tümü ya da hiçbiri atamalarının yerini alır ve kümeler arasındaki örtüşmeyi yakalar.

Formül
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

M-adımında, her bileşenin parametreleri sorumluluk ağırlıklı istatistikler olarak yeniden tahmin edilir: ortalama, kovaryans ve karışım ağırlığı, her noktanın o bileşene ne kadar güçlü ait olduğuna orantılı olarak güncellenir. E ve M adımları, uyum yakınsayana kadar olasılığı artıran bir şekilde dönüşümlü olarak ilerler.

Formül
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

Bileşen sayısı önceden sabitlenmez: aday değerler, uyumu karmaşıklığa karşı dengeleyen BIC veya AIC gibi bilgi kriterleri kullanılarak karşılaştırılır. EM yerel bir optimuma takılabileceği ve kovaryans matrisleri tekil hale gelebileceği için, önceden PCA gibi boyut azaltma ve birkaç yeniden başlatma önerilir.

Sık yapılan hatalar

  • GMM'yi yaklaşık 50'nin altındaki örneklemlerde çalıştırmak, EM'nin yerel optimumlara takılmasına ve kovaryansların tekil hale gelmesine neden olur.
  • Yüksek boyutlu verilerde PCA veya diğer boyut azaltmayı atlamak, tekil kovaryans matrislerine yol açar.
  • Bileşen sayısını adaylar arasında BIC/AIC karşılaştırması yerine göz kararı sabitlemek.
  • Kötü yerel optimumlardan kaçmak için tek bir EM çalıştırmasına güvenmek yerine birden fazla yeniden başlatma yapmak.
  • K-means'in daha sağlam olacağı açıkça Gauss olmayan verilere uygulamak.

Sık sorulan sorular

Gauss Karışım Modeli K-means'ten nasıl farklıdır?

K-means her noktayı tam olarak bir küresel, eşit boyutlu kümeye atar. Gauss Karışım Modeli bunun genellemesidir: her bileşenin kendi kovaryansı vardır, bu nedenle kümeler uzatılmış, döndürülmüş veya farklı boyutlarda olabilir ve her nokta tek bir sert etiket yerine her bileşene ait olma olasılığını alır.

Bileşen sayısını nasıl seçerim?

Modeli birkaç aday bileşen sayısı için uyarlayın ve bunları, model karmaşıklığına karşı uyum iyiliğini tartarak BIC veya AIC gibi bilgi kriterleriyle karşılaştırın, ardından kriteri optimize eden sayıyı seçin.

GMM'm neden her çalıştırmada farklı sonuçlar veriyor?

Başlatmaya bağlı olarak yerel bir optimuma yakınsayabilen EM ile uyarlanır. Birden fazla yeniden başlatma çalıştırmak ve en iyi uyumu saklamak ve önce PCA ile boyutları azaltmak, sonucu daha kararlı hale getirir.

Ne zaman K-means'i tercih etmeliyim?

Örneklem küçük olduğunda (yaklaşık 50'nin altında) veya veri açıkça Gauss olmadığında, EM yerel bir optimuma yerleşebilir ve kovaryans matrisleri tekil hale gelebilir; bu durumlarda K-means daha sağlam bir seçenektir.

İlgili yöntemler

Kaynaklar

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    DOI kaynağını aç
    Kopyalandı.