Naive Bayes Daring
- Diperkenalkan oleh
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- Tahun
- 2000s
- Jenis
- Probabilistic classifier (online/incremental)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Naive Bayes Daring adalah adaptasi inkremental dari pengklasifikasi Naive Bayes klasik yang memperbarui statistik kondisional kelasnya satu observasi (atau satu mini-batch) pada satu waktu, membuatnya sangat cocok untuk aliran data, kumpulan data yang sangat besar yang tidak dapat disimpan dalam memori, dan pengaturan di mana model harus beradaptasi terus-menerus seiring kedatangan contoh berlabel baru.
Intuisi di balik metode
Naive Bayes Klasik membaca semua data pelatihan sekaligus, menghitung prior kelas dan kemungkinan fitur, lalu membekukan parameternya. Sebaliknya, Naive Bayes Daring mempertahankan hitungan berjalan atau statistik yang cukup (rata-rata, varians, frekuensi fitur) yang diperbarui secara inkremental dengan setiap contoh baru. Karena asumsi independensi kondisional Naive Bayes berarti kemungkinan terfaktorisasi menjadi suku per fitur, statistik setiap fitur dapat diperbarui secara independen dan murah, membuat model secara alami cocok untuk pembelajaran satu kali pada aliran tanpa mengorbankan mekanisme prediksi probabilistik.
Sejarah
Naive Bayes memiliki akar dalam statistik Bayesian sejak abad ke-18, tetapi penggunaannya sebagai pengklasifikasi teks dipopulerkan pada tahun 1990-an (misalnya, McCallum & Nigam, 1998). Varian daring/inkremental mendapatkan perhatian sistematis dari komunitas penambangan aliran data pada awal tahun 2000-an, terutama melalui karya Domingos dan Hulten tentang penambangan aliran data berkecepatan tinggi (KDD 2000). Sekarang ini adalah komponen standar dari toolkit pemrosesan aliran dan diekspos langsung di scikit-learn melalui API partial_fit.
Kapan digunakan
Gunakan Naive Bayes Daring ketika data tiba sebagai aliran atau terlalu besar untuk dimuat ke dalam memori sekaligus, ketika pembaruan inkremental yang cepat dan hemat memori diperlukan, atau ketika model harus beradaptasi terus-menerus dengan contoh baru (misalnya, klasifikasi teks umpan langsung, pemfilteran spam, atau klasifikasi peristiwa dalam pipeline IoT). Ini juga merupakan baseline yang kuat untuk data teks jarang berdimensi tinggi (bag-of-words, TF-IDF) dalam pengaturan streaming. Jangan gunakan ketika asumsi independensi kondisional sangat dilanggar dan ada cukup data untuk melatih model yang lebih ekspresif dalam mode batch, ketika fitur sangat berkorelasi dan menangkap interaksi sangat penting, atau ketika distribusi kelas sangat tidak seimbang tanpa koreksi.
Batasan dan pertimbangan
- Asumsi independensi kondisional naif jarang dipenuhi secara tepat dan dapat merusak akurasi ketika fitur sangat berkorelasi.
- Tidak dapat mempelajari interaksi fitur; setiap fitur berkontribusi secara independen terhadap posterior.
- Pergeseran konsep memerlukan mekanisme lupa eksplisit (misalnya, jendela geser, faktor peluruhan) karena model default mengakumulasi semua bukti historis.
- Naive Bayes Gaussian mengasumsikan distribusi fitur per kelas yang unimodal, kira-kira Gaussian, yang mungkin tidak berlaku.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memproses satu contoh pada satu waktu dengan biaya pembaruan O(1) per fitur, membuatnya sangat cepat dan hemat memori untuk data streaming.
- Secara alami probabilistik: menghasilkan probabilitas posterior kelas yang terkalibrasi, bukan hanya label keras.
- Skalabilitas ke ruang fitur berdimensi sangat tinggi (misalnya, teks) tanpa penalti kecepatan yang signifikan.
- Tidak perlu menyimpan data historis; model sepenuhnya ditentukan oleh statistik yang cukup.
- Sederhana untuk diimplementasikan dan dipahami; asumsi independensi kondisional seringkali bekerja lebih baik dari yang diharapkan dalam praktik.
Penerapan
- Deteksi spam dan phishing waktu nyata pada aliran email atau pesan.
- Klasifikasi teks inkremental pada umpan berita langsung atau media sosial.
- Klasifikasi peristiwa sensor dalam sistem IoT di mana data tiba terus-menerus.
- Pengklasifikasi dasar untuk ruang fitur bag-of-words atau TF-IDF berdimensi tinggi.
- Analisis sentimen daring pada ulasan pelanggan streaming atau posting sosial.
- Tugas klasifikasi apa pun yang terlalu besar untuk muat dalam memori di mana model probabilistik cepat dapat diterima.
Cara kerjanya
Cara kerjanya
Prior kelas P(C_k) = N_k / N diinisialisasi dari data berlabel apa pun yang tersedia saat startup (atau diatur seragam). Statistik yang cukup per fitur — hitungan untuk fitur kategorikal, rata-rata berjalan dan varians untuk fitur Gaussian — diinisialisasi serupa.
Rumus
P(C_k) = N_k / N
Ketika contoh berlabel baru (x, y) tiba, hitungan kelas N_y bertambah satu dan statistik yang cukup untuk setiap fitur x_i di bawah kelas y diperbarui: hitungan bertambah untuk fitur Bernoulli atau Multinomial, dan rata-rata berjalan serta varians diperbarui menggunakan algoritma daring Welford untuk fitur Gaussian. Tidak ada contoh lama yang perlu dikunjungi kembali.
Pada waktu prediksi (atau setelah setiap pembaruan), kemungkinan per fitur P(x_i | C_k) dihitung dari statistik yang cukup saat ini. Untuk Naive Bayes Gaussian, PDF Gaussian dievaluasi; untuk varian Multinomial atau Bernoulli, rasio frekuensi yang dihaluskan digunakan.
Rumus
P(x_i | C_k)
Probabilitas posterior untuk setiap kelas dihitung sebagai produk dari prior kelas dan semua kemungkinan per fitur, lalu kelas dengan posterior tertinggi dikembalikan. Karena logaritma digunakan dalam praktik, ini menjadi jumlah dan menghindari underflow numerik.
Rumus
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)Kesalahan umum
- Lupa menerapkan penghalusan Laplace (tambah-satu) untuk varian Multinomial/Bernoulli, yang menyebabkan masalah probabilitas nol untuk nilai fitur yang belum terlihat.
- Mengabaikan pergeseran konsep: tanpa strategi lupa atau jendela, model perlahan-lahan menjadi usang pada aliran non-stasioner.
- Menggunakan Naive Bayes Gaussian untuk data hitungan (misalnya, hitungan kata) alih-alih Naive Bayes Multinomial.
- Memperlakukan probabilitas model sebagai terkalibrasi sempurna tanpa memeriksa; regresi isotonik atau penskalaan Platt mungkin diperlukan.
- Mengevaluasi hanya berdasarkan akurasi ketika ketidakseimbangan kelas ada; gunakan presisi, recall, dan F1 per kelas.
Pertanyaan yang sering diajukan
Bagaimana Naive Bayes Daring menangani pergeseran konsep?
Secara default, ia mengakumulasi semua bukti, sehingga beradaptasi perlahan terhadap pergeseran. Untuk bereaksi lebih cepat, terapkan jendela geser (hanya hitung contoh terbaru), peluruhan eksponensial (bobot observasi yang lebih tua lebih sedikit), atau atur ulang statistik yang cukup ketika pergeseran terdeteksi.
Varian mana yang harus saya gunakan — Gaussian, Multinomial, atau Bernoulli?
Gunakan Naive Bayes Multinomial atau Bernoulli untuk teks (vektor fitur biner atau hitungan) dan Naive Bayes Gaussian untuk fitur kontinu yang kira-kira terdistribusi normal dalam setiap kelas. Logika pembaruan daring sedikit berbeda, tetapi semua varian mendukung pembaruan inkremental.
Apakah Naive Bayes Daring kompetitif dengan model daring yang lebih kompleks?
Pada teks jarang berdimensi tinggi, seringkali kompetitif dengan regresi logistik daring atau SVM daring, dengan biaya komputasi yang lebih rendah. Pada set fitur padat, berdimensi lebih rendah, atau sangat berkorelasi, regresi logistik daring atau gradient boosting biasanya mengunggulinya.
Bagaimana cara mengevaluasi pengklasifikasi daring?
Gunakan evaluasi prequential (uji-lalu-latih): prediksi setiap contoh sebelum memperbarui model, lalu perbarui. Ini memberikan perkiraan kinerja streaming yang tidak bias tanpa set hold-out terpisah.
Bisakah saya menginisialisasi Naive Bayes Daring dari model yang dilatih secara batch?
Ya. Latih model Naive Bayes batch pada kumpulan data awal untuk mendapatkan statistik yang cukup awal yang baik, lalu beralih ke pembaruan inkremental. Pendekatan warm-start ini menghindari ketidakakuratan cold-start dari model yang diinisialisasi secara acak.
Metode terkait
Sumber
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
Buka referensi DOIDisalin.Online machine learning. Wikipedia.
Buka referensi publikasiDisalin.