Skip to content
Kembali ke hasil pencarian

Model Campuran Gaussian

Diperkenalkan oleh
Dempster, Laird & Rubin (EM algorithm)
Tahun
1977
Jenis
Probabilistic (soft) clustering — mixture model

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Model Campuran Gaussian adalah metode pengelompokan probabilistik yang memodelkan data sebagai campuran berbobot dari beberapa distribusi Gaussian, yang disesuaikan dengan algoritma Expectation–Maximization yang diformalkan oleh Dempster, Laird & Rubin pada tahun 1977.

Ini adalah generalisasi dari K-means di mana setiap klaster dapat memiliki bentuk, ukuran, dan orientasinya sendiri.

Intuisi di balik metode

Bayangkan data dihasilkan dengan menarik titik-titik dari beberapa awan berbentuk lonceng yang tumpang tindih, masing-masing dengan pusat, sebaran, dan kemiringannya sendiri. Model Campuran Gaussian mencoba merekayasa balik awan tersembunyi tersebut: ia menanyakan berapa banyak lonceng yang ada dan di mana letaknya, dan alih-alih memaksa setiap titik ke dalam satu klaster, ia memberikan setiap titik probabilitas untuk menjadi bagian dari setiap komponen. Penugasan lunak inilah yang memungkinkannya menangkap klaster yang memanjang atau berputar yang akan salah dipisahkan oleh metode keras dan bulat seperti K-means.

Sejarah

Algoritma Expectation–Maximization yang menggerakkan Model Campuran Gaussian diformalkan oleh Dempster, Laird & Rubin dalam makalah mereka tahun 1977 tentang kemungkinan maksimum dari data yang tidak lengkap, yang membingkai pengelompokan sebagai estimasi parameter dari campuran laten. Tampilan model campuran mengubah pengelompokan menjadi masalah kemungkinan dan mendasari alat pengelompokan berbasis model yang banyak digunakan saat ini.

Kapan digunakan

Gunakan Model Campuran Gaussian untuk pengelompokan atau eksplorasi data kontinu yang kira-kira berbentuk Gaussian ketika klaster mungkin tumpang tindih, berbeda ukuran, atau memanjang alih-alih bulat, dan Anda menginginkan keanggotaan probabilistik lunak alih-alih label keras. Ini mengasumsikan data dihasilkan oleh campuran Gaussian, bekerja pada variabel kontinu, dan membutuhkan setidaknya sekitar 50 observasi. Jumlah komponen dapat dipilih dengan BIC atau AIC, dan pra-pemrosesan PCA disarankan untuk menghindari kutukan dimensionalitas. Dengan kurang dari sekitar 50 observasi, atau ketika asumsi Gaussian gagal, K-means adalah pilihan yang lebih kuat.

Batasan dan pertimbangan

  • Mengasumsikan data dihasilkan oleh campuran Gaussian; hasil menderita ketika asumsi itu gagal.
  • EM dapat konvergen ke optimum lokal, sehingga hasil bergantung pada inisialisasi.
  • Matriks kovarians dapat menjadi singular, terutama dalam dimensi tinggi atau sampel kecil.
  • Membutuhkan setidaknya sekitar 50 observasi dan mendapat manfaat dari pra-pemrosesan PCA untuk menghindari kutukan dimensionalitas.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Keanggotaan klaster lunak, probabilistik alih-alih penugasan keras yang dipaksakan.
  • Setiap komponen memiliki kovariansnya sendiri, sehingga klaster dapat memanjang, berputar, atau berbeda ukuran.
  • Generalisasi sejati dari K-means yang melonggarkan asumsi klaster bulat berukuran sama.
  • Jumlah komponen dapat dipilih secara objektif dengan kriteria informasi seperti BIC atau AIC.

Penerapan

  • Pengelompokan lunak, probabilistik data kontinu di mana klaster tumpang tindih.
  • Analisis eksplorasi subpopulasi dengan klaster berbentuk atau berukuran berbeda.
  • Estimasi kepadatan dengan merepresentasikan data sebagai campuran Gaussian berbobot.
  • Alternatif yang lebih fleksibel untuk K-means ketika klaster bulat berukuran sama tidak realistis.

Cara kerjanya

Cara kerjanya

1

Data diperlakukan seolah-olah berasal dari jumlah berbobot dari K distribusi Gaussian. Setiap komponen memiliki bobot pencampuran, vektor rata-rata, dan matriks kovarians, sehingga satu komponen dapat memanjang atau miring alih-alih dipaksa menjadi bola. Tujuannya adalah untuk menemukan bobot, rata-rata, dan kovarians yang membuat data yang diamati paling mungkin.

Rumus
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

Dalam langkah E (E-step), model menghitung untuk setiap observasi tanggung jawab setiap komponen — probabilitas posterior bahwa titik tersebut dihasilkan oleh Gaussian tersebut. Keanggotaan lunak ini menggantikan penugasan semua atau tidak sama sekali dari K-means dan menangkap tumpang tindih antar klaster.

Rumus
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

Dalam langkah M (M-step), parameter setiap komponen diestimasi ulang sebagai statistik berbobot tanggung jawab: rata-rata, kovarians, dan bobot pencampuran diperbarui menggunakan setiap titik secara proporsional dengan seberapa kuat ia termasuk dalam komponen tersebut. Langkah E dan M bergantian, meningkatkan kemungkinan hingga penyesuaian konvergen.

Rumus
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

Jumlah komponen tidak ditetapkan sebelumnya: nilai kandidat dibandingkan menggunakan kriteria informasi seperti BIC atau AIC, yang menyeimbangkan kecocokan terhadap kompleksitas. Karena EM dapat menetap pada optimum lokal dan matriks kovarians dapat menjadi singular, reduksi dimensi seperti PCA sebelumnya dan beberapa kali restart direkomendasikan.

Kesalahan umum

  • Menjalankan GMM pada sampel di bawah sekitar 50, di mana EM terjebak dalam optimum lokal dan kovarians menjadi singular.
  • Melewatkan PCA atau reduksi dimensi lainnya pada data berdimensi tinggi, mengundang matriks kovarians singular.
  • Memperbaiki jumlah komponen secara visual alih-alih membandingkan BIC/AIC di antara kandidat.
  • Mengandalkan satu kali jalankan EM alih-alih beberapa kali restart untuk keluar dari optimum lokal yang buruk.
  • Menerapkannya pada data yang jelas bukan Gaussian di mana K-means akan lebih kuat.

Pertanyaan yang sering diajukan

Bagaimana Model Campuran Gaussian berbeda dari K-means?

K-means menetapkan setiap titik ke tepat satu klaster bulat berukuran sama. Model Campuran Gaussian adalah generalisasinya: setiap komponen memiliki kovariansnya sendiri, sehingga klaster dapat memanjang, berputar, atau berbeda ukuran, dan setiap titik menerima probabilitas untuk menjadi bagian dari setiap komponen alih-alih satu label keras.

Bagaimana cara memilih jumlah komponen?

Sesuaikan model untuk beberapa jumlah komponen kandidat dan bandingkan dengan kriteria informasi seperti BIC atau AIC, yang menimbang kebaikan kecocokan terhadap kompleksitas model, lalu pilih jumlah yang mengoptimalkan kriteria.

Mengapa GMM saya memberikan hasil yang berbeda setiap kali dijalankan?

Ini disesuaikan dengan EM, yang dapat konvergen ke optimum lokal tergantung pada inisialisasi. Menjalankan beberapa kali restart dan menyimpan kecocokan terbaik, serta mengurangi dimensi dengan PCA terlebih dahulu, membuat hasil lebih stabil.

Kapan saya sebaiknya memilih K-means?

Ketika sampel kecil (di bawah sekitar 50) atau data jelas bukan Gaussian, EM dapat menetap pada optimum lokal dan matriks kovarians dapat menjadi singular; K-means adalah pilihan yang lebih kuat dalam kasus-kasus tersebut.

Metode terkait

Sumber

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    Buka referensi DOI
    Disalin.