Model Campuran Gaussian Bayesian
- Diperkenalkan oleh
- Attias, H.; Bishop, C. M.
- Tahun
- 1999–2006
- Jenis
- Probabilistic clustering / density estimation
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model Campuran Gaussian Bayesian menempatkan distribusi prior atas semua parameter campuran dan menyimpulkan posteriornya — biasanya melalui Variational Bayes atau MCMC — daripada menyesuaikan estimasi titik tetap.
Ini menghasilkan kuantifikasi ketidakpastian yang berprinsip, pemilihan otomatis jumlah komponen yang efektif, dan resistensi terhadap overfitting pada dataset kecil.
Intuisi di balik metode
GMM standar menanyakan berapa banyak klaster yang harus disesuaikan dan kemudian berkomitmen pada jumlah tersebut, mengoptimalkan rata-rata dan kovariansi tetap melalui EM. Versi Bayesian malah memegang distribusi probabilitas atas setiap parameter: ia tetap tidak pasti tentang lokasi, bentuk setiap klaster, bahkan apakah klaster itu diperlukan sama sekali. Komponen yang tidak didukung oleh data secara otomatis menyusut ke bobot nol melalui prior, sehingga model dapat menentukan kompleksitas efektifnya sendiri tanpa pemilihan model yang divalidasi silang di banyak nilai K.
Sejarah
Perlakuan Bayesian terhadap model campuran diformalkan melalui sampler MCMC pada tahun 1990-an. Attias (1999) memperkenalkan pendekatan variational Bayes untuk GMM, dan kerangka kerja ini dipopulerkan dan disistematisasi oleh Bishop (2006) dalam Pattern Recognition and Machine Learning, di mana Bab 10 menyajikan penurunan lengkap. Perluasan nonparametrik menggunakan prior Dirichlet Process, yang memungkinkan K tanpa batas, diikuti pada Rasmussen (2000) dan Blei & Jordan (2006).
Kapan digunakan
Gunakan ketika Anda memerlukan pengklasteran lunak probabilistik atau estimasi kepadatan pada data multivariat kontinu dan ingin menghindari penetapan jumlah komponen K di muka, atau ketika Anda memerlukan estimasi ketidakpastian di sekitar penugasan klaster dan parameter. Ideal untuk dataset kecil hingga sedang (puluhan hingga puluhan ribu observasi) di mana GMM EM standar mengalami overfitting. Tidak cocok untuk data berdimensi sangat tinggi tanpa reduksi dimensi, untuk fitur kategorikal atau ordinal saja, atau ketika partisi keras non-probabilistik adalah satu-satunya yang diperlukan dan kecepatan adalah yang terpenting.
Batasan dan pertimbangan
- Variational Bayes menemukan optimum lokal ELBO, bukan posterior global; hasil dapat bergantung pada inisialisasi.
- Pilihan hiperparameter prior (terutama konsentrasi Dirichlet) memengaruhi komponen mana yang bertahan dan harus dibenarkan.
- Secara komputasi lebih mahal daripada GMM EM standar per iterasi dan lebih sulit diimplementasikan dari awal.
- Data berdimensi tinggi (banyak fitur) memerlukan parameterisasi kovariansi yang cermat atau reduksi dimensi prior.
- Menginterpretasikan posterior komponen memerlukan keakraban dengan konsep inferensi variasional.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara otomatis memangkas komponen yang tidak terpakai, mengurangi kebutuhan untuk menentukan K sebelumnya melalui pencarian grid berulang.
- Mengembalikan distribusi posterior penuh atas parameter, memungkinkan kuantifikasi ketidakpastian terkalibrasi pada penugasan klaster.
- Tahan terhadap overfitting pada dataset kecil karena prior merregularisasi kovariansi dan bobot komponen.
- Penugasan lunak membuatnya cocok untuk pipeline probabilistik hilir dan jaringan kepadatan campuran.
- Implementasi Variational Bayes diskalakan lebih baik daripada MCMC penuh sambil mempertahankan manfaat Bayesian.
Penerapan
- Diarisasi pembicara dan segmentasi audio di mana jumlah pembicara tidak diketahui.
- Deteksi anomali dengan mengidentifikasi observasi yang diberi probabilitas rendah di bawah semua komponen yang dipelajari.
- Segmentasi gambar dan kuantisasi warna dengan keanggotaan piksel-ke-klaster yang lunak.
- Estimasi kepadatan untuk pemodelan generatif dan simulasi data multivariat kontinu.
- Pengklasteran profil pasien genomik atau klinis ketika jumlah subtipe yang sebenarnya tidak pasti.
- Menginisialisasi model generatif yang lebih kompleks seperti autoencoder variasional.
Cara kerjanya
Cara kerjanya
Prior konjugat ditempatkan di atas proporsi pencampuran (Dirichlet), rata-rata komponen (Gaussian), dan matriks presisi (Wishart). Parameter konsentrasi Dirichlet mengontrol seberapa tersebar bobot campuran di seluruh komponen: nilai kecil mendorong bobot ke beberapa klaster, secara efektif menghukum komponen yang tidak perlu.
Rumus
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)Langkah E variasional menghitung tanggung jawab lunak r_nk — probabilitas posterior perkiraan bahwa observasi n termasuk dalam komponen k — menggunakan ekspektasi saat ini dari bobot campuran log dan determinan presisi log daripada estimasi titik, sehingga ketidakpastian parameter merambat ke penugasan klaster.
Rumus
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]Statistik yang cukup untuk setiap komponen diakumulasikan dari tanggung jawab lunak: jumlah efektif N_k, rata-rata tertimbang, dan matriks hamburan tertimbang. Ini menggantikan padanan EM hitungan keras dan mendorong pembaruan posterior parameter berikutnya.
Rumus
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\topParameter alami dari setiap posterior konjugat diperbarui dengan menambahkan statistik yang cukup ke hiperparameter prior. Posterior Dirichlet menyusutkan komponen dengan N_k rendah ke bobot nol, mengimplementasikan pemangkasan otomatis klaster yang tidak terpakai.
Rumus
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
Konvergensi dipantau oleh Evidence Lower BOund (ELBO), batas bawah pada log kemungkinan marjinal. ELBO dijamin tidak menurun pada setiap siklus EM variasional; iterasi berlanjut hingga peningkatan jatuh di bawah toleransi.
Rumus
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]Kesalahan umum
- Menetapkan jumlah komponen awal K terlalu kecil, mencegah model menemukan semua struktur nyata meskipun komponen yang tidak terpakai dipangkas.
- Mengabaikan sensitivitas terhadap konsentrasi prior Dirichlet tanpa menjalankan sapuan hiperparameter singkat.
- Mempercayai satu inisialisasi acak; beberapa restart dengan pemilihan ELBO terbaik penting.
- Menerapkan model ke data diskrit atau tipe campuran tanpa mengubah fitur menjadi bentuk Gaussian yang kira-kira kontinu.
- Melaporkan hanya label klaster tanpa tanggung jawab lunak, membuang output probabilistik utama model.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari GMM standar yang disesuaikan dengan EM?
EM standar memberikan estimasi titik (rata-rata tetap, kovariansi, bobot) dan memerlukan penetapan K sebelum penyesuaian. GMM Bayesian menyimpulkan posterior penuh atas semua parameter, secara otomatis memangkas komponen kosong, dan menyebarkan ketidakpastian parameter ke dalam prediksi.
Bagaimana cara memilih jumlah komponen awal K?
Tetapkan K secara lebih besar dari jumlah klaster yang Anda harapkan. Prior Dirichlet akan menyusutkan jumlah efektif: komponen yang tidak didukung oleh data mengumpulkan bobot mendekati nol dan dipangkas secara otomatis. Heuristik umum adalah memulai dengan K = 2 × (klaster yang diharapkan).
Apakah Variational Bayes selalu lebih baik daripada MCMC untuk model ini?
Variational Bayes lebih cepat dan deterministik tetapi memperkirakan posterior dengan distribusi terfaktor yang dapat meremehkan ketidakpastian. MCMC secara asimtotik tepat tetapi mahal. Untuk sebagian besar masalah praktis dengan data sedang, Variational Bayes adalah pilihan pragmatis.
Hiperparameter apa yang paling penting?
Konsentrasi Dirichlet alpha_0 mengontrol seberapa agresif komponen dipangkas. Nilai kecil (misalnya, 0,01 hingga 1) mendukung solusi yang jarang; nilai besar menyebarkan bobot lebih merata. Derajat kebebasan Wishart nu_0 dan skala W_0 mengontrol seberapa terbatas bentuk kovariansi.
Kapan saya harus menggunakan Dirichlet Process GMM sebagai gantinya?
Gunakan Dirichlet Process (campuran tak terbatas) GMM ketika Anda menginginkan perlakuan nonparametrik penuh yang tidak memerlukan penentuan batas atas K sama sekali. Imbalannya adalah kompleksitas implementasi yang lebih tinggi dan inferensi yang lebih lambat.
Metode terkait
Sumber
Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.
ISBN: 978-0-387-31073-2Disalin.Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.
Buka referensi publikasiDisalin.