Model Gaussian Campuran Semi-Terawasi
- Diperkenalkan oleh
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Tahun
- 2000
- Jenis
- Generative semi-supervised classifier
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model Gaussian Campuran Semi-Terawasi (SS-GMM) adalah pengklasifikasi probabilistik generatif yang menyesuaikan campuran Gaussian ke data berlabel dan tidak berlabel menggunakan algoritma Expectation-Maximization.
Titik berlabel membatasi penugasan komponen sementara titik tidak berlabel meningkatkan estimasi kepadatan, memungkinkan pembelajaran yang efektif ketika anotasi langka.
Intuisi di balik metode
Bayangkan Anda memiliki beberapa contoh berlabel dan banyak yang tidak berlabel. Model yang sepenuhnya terawasi mengabaikan data tidak berlabel sama sekali; pengelompokan murni mengabaikan label Anda. SS-GMM menjembatani keduanya: ia memodelkan data sebagai campuran kluster Gaussian, mengunci titik berlabel ke komponen yang benar, dan membiarkan titik tidak berlabel mengambang secara probabilistik di berbagai komponen. Iterasi EM terus mendorong Gaussian untuk menggambarkan awan data secara keseluruhan dengan lebih baik, sehingga label yang langka menyebar ke mayoritas yang tidak berlabel melalui struktur kepadatan bersama.
Sejarah
GMM semi-terawasi muncul dari literatur pembelajaran semi-terawasi yang lebih luas pada akhir 1990-an. Nigam et al. (2000) mendemonstrasikan pendekatan untuk klasifikasi teks menggunakan EM pada model generatif Naive Bayes (kasus khusus GMM diagonal), menunjukkan peningkatan terukur dari dokumen tidak berlabel. Kerangka kerja umum dikonsolidasikan dalam volume influential MIT Press oleh Chapelle, Scholkopf, dan Zien (2006), yang menetapkan SS-GMM sebagai pendekatan generatif kanonik untuk klasifikasi semi-terawasi di samping alternatif diskriminatif dan berbasis graf.
Kapan digunakan
Gunakan SS-GMM ketika contoh berlabel langka tetapi data tidak berlabel melimpah dan ketika distribusi bersyarat kelas yang mendasarinya kira-kira Gaussian atau dapat dibuat demikian melalui transformasi. Sangat cocok untuk ruang fitur kontinu berdimensi rendah hingga menengah (hingga sekitar 20–50 fitur tanpa reduksi dimensi). Hindari jika fitur sangat non-Gaussian atau kategorikal, ketika jumlah kelas besar relatif terhadap sampel berlabel, ketika struktur kluster tidak sejajar dengan batas kelas (asumsi kluster dilanggar), atau ketika model diskriminatif seperti SVM semi-terawasi atau propagasi label lebih cocok dengan geometri data.
Batasan dan pertimbangan
- Kecocokan model menurun ketika asumsi Gaussian sangat dilanggar — transformasi nonlinier atau metode kernel mungkin diperlukan.
- EM konvergen ke optimum lokal; hasil sensitif terhadap inisialisasi dan beberapa restart diperlukan.
- Data berdimensi tinggi (kutukan dimensi) membuat estimasi kovarians tidak dapat diandalkan tanpa regularisasi atau reduksi dimensi.
- Data tidak berlabel dapat merugikan daripada membantu jika asumsi kluster tidak berlaku (kluster tidak sejajar dengan batas kelas).
- Skalabilitas buruk untuk dataset tidak berlabel yang sangat besar tanpa varian EM stokastik atau mini-batch.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memanfaatkan data tidak berlabel untuk meningkatkan estimasi parameter ketika label mahal atau langka.
- Menyediakan posterior kelas probabilistik yang berprinsip, memungkinkan kuantifikasi ketidakpastian yang terkalibrasi.
- Model generatif yang transparan secara matematis dengan jaminan konvergensi EM yang dipahami dengan baik.
- Secara alami menangani masalah multi-kelas tanpa dekomposisi one-vs-rest.
- Dapat diperluas dengan beberapa Gaussian per kelas untuk menangkap distribusi intra-kelas multimodal.
Penerapan
- Klasifikasi teks dan dokumen ketika hanya sebagian kecil teks yang dapat diberi label secara manual.
- Analisis citra medis di mana anotasi ahli mahal dan pemindaian tidak berlabel banyak.
- Tugas bioinformatika seperti pengelompokan ekspresi gen dengan label kelas parsial.
- Klasifikasi data sensor dan deret waktu dalam penerapan IoT dengan ground-truth yang jarang.
- Deteksi anomali semi-terawasi dengan memodelkan kepadatan kelas normal dari data tidak berlabel yang melimpah.
- Pembelajaran fitur pemrosesan bahasa alami sebelum deep learning mendominasi.
Cara kerjanya
Cara kerjanya
Inisialisasi parameter campuran — rata-rata komponen, kovarians, dan bobot campuran — baik dari subset berlabel saja (misalnya, rata-rata bersyarat kelas) atau melalui k-means pada semua data yang tersedia. Jumlah komponen K biasanya ditetapkan sama dengan jumlah kelas yang diketahui, meskipun beberapa komponen per kelas dimungkinkan.
Untuk setiap titik tidak berlabel, hitung tanggung jawab lunak (soft responsibilities): probabilitas posterior bahwa titik i termasuk dalam komponen k, mengingat parameter saat ini. Titik berlabel menerima penugasan keras (hard assignments) — tanggung jawab mereka untuk komponen kelas yang benar ditetapkan ke satu dan nol di tempat lain — memberlakukan pengawasan tanpa merusak kerangka kerja EM.
Rumus
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}Batasan penugasan keras pada titik berlabel adalah perbedaan utama dari GMM yang tidak terawasi. Ini menambatkan identitas komponen ke semantik kelas, mencegah masalah pergantian label yang terkenal dan memastikan bahwa struktur kluster yang dipelajari dari data tidak berlabel dapat diinterpretasikan dalam hal kelas yang diketahui.
Perbarui semua parameter campuran menggunakan statistik gabungan yang dibobot tanggung jawab dari titik berlabel dan tidak berlabel. Karena titik tidak berlabel berkontribusi hitungan pecahan ke setiap komponen, mereka secara efektif menghaluskan dan menstabilkan estimasi parameter di wilayah di mana data berlabel jarang.
Rumus
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}Ulangi langkah E dan M hingga log-likelihood data yang diamati (dijumlahkan atas titik berlabel dan tidak berlabel) berhenti meningkat melebihi toleransi kecil. Pantau konvergensi dengan cermat: beberapa restart acak disarankan karena EM konvergen ke optimum lokal dan solusi akhir bergantung pada inisialisasi.
Klasifikasikan titik baru dengan menemukan komponen dengan probabilitas posterior tertinggi mengingat parameter yang konvergen. Kelas yang diprediksi adalah label yang terkait dengan komponen tersebut. Probabilitas posterior di seluruh komponen juga berfungsi sebagai skor kepercayaan yang terkalibrasi.
Rumus
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)Kesalahan umum
- Menjalankan satu inisialisasi EM dan menerima solusi konvergen pertama — selalu gunakan beberapa restart.
- Menetapkan K sama dengan jumlah kelas tanpa mempertimbangkan multimodalitas intra-kelas, yang mengarah pada penangkapan kepadatan yang buruk.
- Menerapkan model dalam dimensi tinggi tanpa terlebih dahulu mengurangi dimensi atau merregularisasi matriks kovarians (misalnya, kovarians diagonal atau terikat).
- Mengasumsikan data tidak berlabel selalu membantu — jika asumsi kluster dan manifold dilanggar, data tidak berlabel dapat menurunkan akurasi.
- Mengabaikan penimbangan istilah log-likelihood berlabel secara tepat; perbaikan umum adalah menaikkan bobot kontribusi titik berlabel dengan faktor lambda.
Pertanyaan yang sering diajukan
Bagaimana SS-GMM berbeda dari GMM yang sepenuhnya tidak terawasi?
GMM yang tidak terawasi menemukan struktur kluster tanpa pengetahuan tentang label kelas dan menderita pergantian label — indeks kluster tidak memiliki makna semantik. SS-GMM memperbaiki titik berlabel ke komponen yang benar selama setiap langkah E, menambatkan identitas kluster ke semantik kelas dan memungkinkan titik tidak berlabel untuk menyempurnakan estimasi kepadatan.
Bagaimana jika data tidak berlabel tampaknya menurunkan akurasi saya?
Ini adalah masalah 'pelanggaran asumsi kluster': jika batas kelas tidak sejajar dengan kluster kepadatan alami, data tidak berlabel memandu model ke arah yang salah. Langkah-langkah diagnostik termasuk memvisualisasikan data dalam 2D (PCA/t-SNE), meningkatkan bobot lambda pada titik berlabel, atau beralih ke metode semi-terawasi diskriminatif seperti SVM semi-terawasi.
Berapa banyak komponen Gaussian yang harus saya gunakan per kelas?
Mulai dengan satu komponen per kelas. Jika sebuah kelas memiliki struktur multimodal yang jelas (misalnya, dua sub-populasi), izinkan dua atau lebih komponen untuk kelas tersebut. Gunakan BIC atau likelihood yang ditahan pada subset berlabel untuk membandingkan urutan model tanpa overfitting.
Haruskah saya menggunakan matriks kovarians penuh, diagonal, atau terikat?
Kovarians penuh paling fleksibel tetapi membutuhkan banyak sampel per komponen. Kovarians diagonal (fitur diasumsikan independen) adalah default teraman dalam dimensi menengah hingga tinggi. Kovarians terikat (semua komponen berbagi satu matriks) lebih lanjut mengurangi parameter dan cocok ketika kelas memiliki sebaran yang serupa.
Apakah ada bobot untuk kontribusi berlabel vs. tidak berlabel?
Ya. Perluasan umum mengalikan log-likelihood berlabel dengan faktor lambda > 1 untuk mengkompensasi jumlah titik tidak berlabel yang biasanya jauh lebih besar. Tanpa ini, mayoritas yang tidak berlabel dapat mendominasi pembaruan parameter dan menghapus sinyal pengawasan.
Metode terkait
Sumber
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Disalin.Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
Buka referensi DOIDisalin.