Pembelajaran Aktif Model Gaussian Campuran
- Diperkenalkan oleh
- Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
- Tahun
- 2000s (combination)
- Jenis
- Active learning for probabilistic clustering / density estimation
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model Gaussian Campuran Aktif menggabungkan strategi kueri iteratif dengan pembelajar Model Gaussian Campuran.
Algoritma ini memilih titik tak berlabel yang paling informatif — biasanya yang memiliki ketidakpastian prediksi tertinggi — menyajikannya kepada oracle untuk diberi label, dan memasang kembali GMM menggunakan EM pada kumpulan data berlabel yang terus bertambah. Hasilnya adalah model kepadatan yang menyamai kualitas data penuh sambil membutuhkan contoh berlabel yang jauh lebih sedikit.
Intuisi di balik metode
Pelabelan data itu mahal. GMM biasa yang dilatih pada semua data bekerja dengan baik tetapi membutuhkan banyak contoh berlabel. Pembelajaran aktif memecahkan masalah ini dengan bertanya: titik tak berlabel mana, jika diberi label sekarang, akan paling mengurangi ketidakpastian saya tentang komponen campuran? Titik-titik di dekat batas keputusan antar komponen atau di wilayah yang sampelnya jarang adalah yang paling informatif. Dengan hanya menanyakan titik-titik bernilai tinggi tersebut dan memasang kembali GMM setelah setiap label tiba, model mencapai kinerja yang baik dengan sebagian kecil anggaran pelabelan. Hal ini membuatnya menarik untuk tugas-tugas seperti pencitraan medis atau deteksi kejadian langka di mana anotasi ahli mahal.
Sejarah
Model Gaussian Campuran melalui algoritma Expectation-Maximization diformalkan oleh Dempster, Laird, dan Rubin pada tahun 1977. Pembelajaran aktif sebagai kerangka kerja sistematis diartikulasikan oleh Settles pada tahun 2000-an, yang berpuncak pada kuliah sintesis yang banyak dikutip pada tahun 2012. Kombinasi kueri aktif dengan GMM muncul dalam literatur pembelajaran mesin tahun 2000-an dan 2010-an, dimotivasi oleh aplikasi estimasi kepadatan dan pengelompokan semi-terawasi di mana anggaran anotasi terbatas.
Kapan digunakan
Gunakan GMM Pembelajaran Aktif ketika Anda memiliki data kontinu tak berlabel yang melimpah tetapi pelabelan mahal atau lambat, dan Anda menginginkan model kepadatan probabilistik atau pengelompokan. Ini cocok untuk tugas-tugas dengan keanggotaan kluster lunak, kelas yang tumpang tindih, dan kebutuhan untuk kuantifikasi ketidakpastian — seperti deteksi anomali, diagnosis medis, atau klasifikasi ilmiah. Jangan gunakan ketika label sudah melimpah dan murah, ketika jumlah komponen K sangat tidak pasti dan tidak dapat divalidasi secara eksternal, ketika data berdimensi tinggi tanpa reduksi dimensi (estimasi kovarians GMM menurun), atau ketika kebutuhan utama Anda adalah diskriminasi daripada estimasi kepadatan.
Batasan dan pertimbangan
- Memilih jumlah komponen K memerlukan pengetahuan domain atau kriteria pemilihan model seperti BIC/AIC.
- Estimasi kovarians GMM memburuk di ruang fitur berdimensi tinggi tanpa reduksi dimensi sebelumnya.
- Manfaat pembelajaran aktif berkurang jika benih berlabel awal terlalu kecil untuk memulai model yang bermakna.
- Kueri berurutan menciptakan lingkaran umpan balik yang dapat membiaskan kumpulan data berlabel jika model awal salah spesifikasi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi biaya pelabelan dengan menargetkan hanya contoh yang paling tidak pasti.
- Menyediakan penugasan kluster probabilistik lunak dan model kepadatan penuh, bukan hanya label keras.
- Estimasi ketidakpastian dari posterior GMM berfungsi langsung sebagai kriteria kueri, menjaga alur kerja tetap koheren.
- Pemanasan EM membuat pelatihan ulang per putaran cepat bahkan untuk kumpulan data yang cukup besar.
- Bekerja dengan baik dengan data kontinu berdimensi sedang dan secara alami menangani kelompok yang tumpang tindih.
Penerapan
- Segmentasi citra medis di mana anotasi ahli pada daerah jaringan itu mahal.
- Deteksi kejadian langka dalam aliran sensor menggunakan pelabelan yang dipandu ketidakpastian.
- Pengelompokan data ilmiah (misalnya, morfologi galaksi, famili protein) dengan label kebenaran dasar yang terbatas.
- Pencarian skor anomali dalam kontrol kualitas industri dengan umpan balik ahli iteratif.
- Pemodelan ucapan dan audio di mana anotasi tingkat fonem memakan waktu.
Cara kerjanya
Cara kerjanya
GMM awal dengan jumlah komponen K yang dipilih dipasang pada data berlabel yang tersedia, atau diinisialisasi dari sekumpulan benih acak yang kecil. EM menghasilkan bobot campuran, rata-rata komponen, dan matriks kovarians yang mendefinisikan perkiraan kepadatan awal.
Untuk setiap titik tak berlabel, algoritma menghitung skor informativitas — umumnya entropi prediksi H(y|x,theta) atas K komponen, atau margin antara dua posterior komponen teratas. Titik dengan skor tertinggi dipilih sebagai kueri berikutnya.
Rumus
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)Titik yang dipilih disajikan kepada pakar manusia atau oracle otomatis yang memberikan label kluster atau kelas. Label ini ditambahkan ke kumpulan data berlabel, menghapus titik tersebut dari kumpulan data tak berlabel.
GMM dilatih ulang menggunakan EM pada kumpulan data berlabel yang diperbarui. Karena hanya satu atau sejumlah kecil titik yang ditambahkan per putaran, pemanasan dari parameter sebelumnya menjaga pelatihan ulang tetap efisien.
Kueri berlanjut hingga anggaran anotasi habis, skor ketidakpastian turun di bawah ambang batas, atau kinerja model yang ditahan berhenti meningkat. GMM akhir kemudian digunakan untuk estimasi kepadatan, pengelompokan, atau klasifikasi.
Kesalahan umum
- Memperlakukan kumpulan data berlabel yang dipilih secara aktif sebagai sampel i.i.d. untuk inferensi standar — ini adalah sampel yang bias berdasarkan desain.
- Memperbaiki K lebih awal tanpa memeriksa BIC atau log-likelihood yang divalidasi silang menyebabkan komponen salah spesifikasi.
- Melakukan kueri dalam batch yang sangat besar per putaran, yang meniadakan manfaat adaptif dari pemilihan aktif.
- Mengabaikan regularisasi kovarians (misalnya, menambahkan suku diagonal kecil) dalam kumpulan data berlabel kecil, menyebabkan pembaruan EM yang degeneratif.
- Mengevaluasi hanya pada kumpulan data berlabel alih-alih pada subset tak berlabel yang ditahan, meningkatkan kinerja yang tampak.
Pertanyaan yang sering diajukan
Bagaimana cara memilih jumlah komponen Gaussian K?
Pasang GMM dengan K yang bervariasi pada data berlabel yang tersedia dan bandingkan skor BIC atau AIC. Log-likelihood yang divalidasi silang pada subset tak berlabel yang ditahan lebih andal ketika data berlabel langka. Pengetahuan domain tentang jumlah kluster atau kelas yang diharapkan adalah panduan yang paling andal.
Bisakah saya menanyakan lebih dari satu titik per putaran?
Ya — pembelajaran aktif mode batch memilih B titik paling tidak pasti per putaran. Batch yang lebih besar memungkinkan anotasi paralel tetapi mengurangi manfaat adaptif dari pembaruan kueri tunggal. Ukuran batch 5–20 umum dalam praktik.
Bagaimana jika data tak berlabel saya berdimensi tinggi?
Terapkan PCA atau autoencoder untuk mengurangi dimensi sebelum memasang GMM. Estimasi kovarians dalam GMM menurun dengan cepat seiring bertambahnya jumlah fitur relatif terhadap jumlah observasi berlabel, dan matriks kovarians penuh menjadi hampir singular.
Apa bedanya dengan GMM semi-terawasi?
GMM semi-terawasi menggunakan data berlabel dan tak berlabel dalam setiap langkah EM, memanfaatkan struktur kepadatan data tak berlabel. GMM pembelajaran aktif berfokus pada titik tak berlabel mana yang akan diberi label selanjutnya, dan biasanya hanya menyimpannya di kumpulan data berlabel. Kedua pendekatan dapat digabungkan: gunakan EM semi-terawasi untuk pemasangan dan kueri aktif untuk memutuskan apa yang akan diberi label.
Apakah pembelajaran aktif dengan GMM cocok untuk deteksi anomali?
Ya, tetapi dengan hati-hati. GMM awal yang dilatih pada sebagian besar data normal dapat menandai titik berkemungkinan rendah sebagai anomali. Kueri aktif pada titik-titik tersebut memungkinkan oracle untuk mengonfirmasi atau menolak anomali, secara progresif menyempurnakan batas antara daerah kepadatan normal dan anomali.
Metode terkait
Sumber
Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.
Buka referensi publikasiDisalin.Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.
Buka referensi DOIDisalin.