Naive Bayes Semi-Terawasi
- Diperkenalkan oleh
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Tahun
- 2000
- Jenis
- Semi-supervised generative classifier
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Naive Bayes Semi-Terawasi memperluas model generatif Naive Bayes klasik untuk memanfaatkan kumpulan data besar yang tidak berlabel bersama dengan sejumlah kecil data berlabel.
Menggunakan Expectation-Maximization (EM), ia secara iteratif menyimpulkan penugasan kelas lunak untuk contoh yang tidak berlabel dan menghitung ulang parameter kelas dan fitur, menghasilkan pengklasifikasi yang jauh lebih baik ketika contoh berlabel langka.
Intuisi di balik metode
Naive Bayes klasik memerlukan contoh berlabel untuk memperkirakan probabilitas kelas dan kemungkinan fitur. Ketika label mahal tetapi data mentah melimpah, sebagian besar informasi dalam data tidak terpakai. Naive Bayes Semi-Terawasi memperbaiki ini dengan memperlakukan label yang tidak diketahui dari contoh yang tidak berlabel sebagai variabel tersembunyi: ia bergantian antara menebak label tersebut berdasarkan model saat ini (langkah E) dan menyempurnakan model menggunakan tebakan tersebut (langkah M). Selama beberapa iterasi, model melakukan bootstrapping sendiri ke perkiraan parameter yang jauh lebih akurat daripada yang dapat didukung oleh data berlabel saja.
Sejarah
Nigam, McCallum, Thrun, dan Mitchell (2000) mempopulerkan Naive Bayes semi-terawasi untuk klasifikasi teks, menunjukkan bahwa EM dengan model multinomial Naive Bayes dapat mengurangi separuh tingkat kesalahan pada dataset benchmark ketika artikel berita yang tidak berlabel melengkapi sejumlah kecil data berlabel. Pendekatan ini didasarkan pada pekerjaan EM-untuk-model-campuran sebelumnya dan menjadi contoh kanonik dalam literatur pembelajaran semi-terawasi, dibahas secara ekstensif dalam Chapelle et al. (2006).
Kapan digunakan
Ideal ketika jumlah contoh berlabel berkisar puluhan hingga ratusan rendah tetapi sejumlah besar data tidak berlabel dari distribusi yang sama tersedia — situasi umum dalam klasifikasi teks, penyaringan spam, dan kategorisasi dokumen biomedis. Fitur harus independen secara bersyarat mengingat kelas (atau mendekati demikian), membuat representasi bag-of-words dan berbasis hitungan menjadi cocok secara alami. Hindari ketika data yang tidak berlabel berasal dari distribusi yang berbeda dari set yang berlabel (pergeseran kovariat), karena pembaruan EM dapat merusak daripada membantu; parameter pembobotan lambda harus disetel dalam kasus seperti itu. Juga hindari ketika asumsi independensi bersyarat sangat dilanggar dan model diskriminatif akan lebih disukai terlepas dari kelangkaan label.
Batasan dan pertimbangan
- Mewarisi asumsi independensi bersyarat Naive Bayes; fitur yang berkorelasi menurunkan perkiraan parameter.
- EM konvergen ke optimum lokal yang bergantung pada inisialisasi; beberapa restart acak mungkin diperlukan.
- Data yang tidak berlabel dari distribusi yang bergeser dapat menurunkan akurasi (transfer negatif) kecuali jika dibobot dengan hati-hati.
- Kurang kompetitif dibandingkan metode semi-terawasi diskriminatif (misalnya, transductive SVM, propagasi label) pada set fitur kecil dengan korelasi fitur yang kuat.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memanfaatkan data yang tidak berlabel secara efisien yang seharusnya dibuang, seringkali secara dramatis mengurangi data berlabel yang dibutuhkan.
- Secara komputasi cepat: setiap iterasi EM linier dalam ukuran data, membuatnya cocok untuk korpus teks besar.
- Kerangka kerja probabilistik yang berprinsip dengan jaminan konvergensi yang dipahami dengan baik (ke optimum lokal dari kemungkinan).
- Menghasilkan probabilitas posterior yang terkalibrasi, memungkinkan peringkat dan pemisahan hilir.
- Sederhana untuk diimplementasikan dan diperluas — pembobotan lambda menyediakan kenop praktis untuk mengontrol pengaruh data yang tidak berlabel.
Penerapan
- Klasifikasi teks dan dokumen dengan data pelatihan berlabel terbatas.
- Deteksi spam dan phishing di mana spam berlabel langka tetapi email yang tidak berlabel melimpah.
- Analisis sentimen yang di-bootstrapping dari segelintir ulasan berlabel.
- Kategorisasi literatur biomedis (misalnya, triase artikel PubMed) dengan subset kecil yang diberi label ahli.
- Klasifikasi topik halaman web menggunakan benih berlabel tangan kecil dan korpus yang dirayapi besar.
- Perutean email atau tiket di mana hanya sebagian kecil tiket historis yang memiliki label kategori yang dikonfirmasi.
Cara kerjanya
Cara kerjanya
Latih model Naive Bayes awal hanya menggunakan contoh berlabel. Ini memberikan perkiraan pertama dari prior kelas P(y) dan kemungkinan fitur bersyarat P(x_j | y) — biasanya dengan penghalusan Laplace untuk menangani nilai fitur yang tidak terlihat. Model yang dihasilkan adalah titik awal untuk loop EM daripada pengklasifikasi akhir.
Terapkan model saat ini ke setiap contoh yang tidak berlabel untuk menghitung bobot keanggotaan kelas lunak (probabilistik). Setiap dokumen atau instance yang tidak berlabel secara fraksional ditugaskan ke semua kelas sebanding dengan probabilitas posterior P(y | x, theta). Hitungan fraksional ini melengkapi hitungan keras dari data berlabel.
Rumus
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}Perkirakan ulang semua parameter model — prior kelas dan kemungkinan fitur — dengan menggabungkan hitungan keras dari contoh berlabel dengan hitungan fraksional yang terakumulasi dalam langkah E. Contoh yang tidak berlabel berkontribusi sebanding dengan bobot kelas yang disimpulkan, sehingga data tidak berlabel yang informatif menggeser parameter secara bermakna.
Ulangi langkah E dan langkah M hingga log-likelihood dari semua data (berlabel ditambah tidak berlabel) konvergen atau jumlah iterasi maksimum tercapai. Hiperparameter bobot lambda dapat mengurangi kontribusi yang tidak berlabel jika distribusi yang tidak berlabel berbeda dari yang berlabel, menjaga terhadap transfer negatif.
Setelah konvergen, klasifikasikan contoh baru menggunakan aturan Naive Bayes standar: tetapkan kelas dengan probabilitas posterior tertinggi berdasarkan parameter yang dipelajari. Inferensi runtime identik dengan Naive Bayes biasa — cepat, bentuk tertutup, dan cocok untuk koleksi dokumen besar.
Rumus
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)Kesalahan umum
- Mengabaikan ketidakcocokan distribusi antara kumpulan berlabel dan tidak berlabel — selalu verifikasi bahwa kedua sampel diambil dari tugas dan domain yang sama.
- Menghilangkan penyetelan lambda ketika kualitas data yang tidak berlabel tidak pasti; default ke lambda=1 dapat merusak kinerja.
- Mengevaluasi hanya pada set berlabel pelatihan tanpa set pengujian yang ditahan, meningkatkan akurasi yang tampak.
- Memperlakukan konvergensi EM sebagai optimalitas yang terjamin — selalu bandingkan dengan baseline hanya berlabel dan baseline self-training sederhana.
- Melupakan penghalusan Laplace, yang menyebabkan kegagalan probabilitas nol untuk nilai fitur yang tidak terlihat selama langkah E.
Pertanyaan yang sering diajukan
Berapa banyak contoh berlabel yang saya perlukan untuk mendapatkan model awal yang baik?
Sedikitnya 10–50 per kelas sudah cukup untuk teks dengan banyak fitur, asalkan penghalusan Laplace diterapkan. Lebih banyak contoh berlabel selalu membantu, tetapi pendekatan semi-terawasi secara khusus bersinar ketika Anda memiliki kurang dari beberapa ratus instance berlabel.
Apa parameter lambda dan bagaimana cara menyetelnya?
Lambda mengontrol berapa banyak bobot yang diterima contoh yang tidak berlabel relatif terhadap yang berlabel selama langkah M (lambda=1 memperlakukannya sama; lambda=0 mengabaikannya). Setel melalui validasi silang pada set berlabel, mulai dengan nilai di {0.1, 0.3, 0.5, 1.0}. Kurangi lambda ketika Anda mencurigai ketidakcocokan distribusi.
Apakah EM akan selalu meningkatkan Naive Bayes hanya berlabel?
Tidak. Jika data yang tidak berlabel berasal dari distribusi yang berbeda, EM dapat menggerakkan parameter ke arah yang salah dan meningkatkan kesalahan. Selalu uji terhadap baseline hanya berlabel sebelum menerapkan model semi-terawasi.
Bagaimana ini berbeda dari self-training dengan Naive Bayes?
Self-training menetapkan label keras ke contoh yang tidak berlabel di atas ambang kepercayaan, lalu melatih ulang. Naive Bayes semi-terawasi melalui EM menetapkan label fraksional lunak ke semua contoh yang tidak berlabel di setiap iterasi, yang secara statistik lebih berprinsip dan menghindari kaskade kesalahan yang percaya diri yang dapat terjadi dalam self-training.
Apakah ini cocok untuk data tabular non-teks?
Ya. Untuk fitur kontinu, ganti kemungkinan multinomial dengan kemungkinan Gaussian (atau parametrik lainnya) per kelas. Struktur loop EM identik; hanya rumus parameter langkah M yang berubah.
Metode terkait
Sumber
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
Buka referensi DOIDisalin.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Disalin.