Naive Bayes
- Diperkenalkan oleh
- Mitchell, T. M. (textbook treatment)
- Tahun
- 1997
- Jenis
- Probabilistic classifier (Bayes' theorem with conditional independence)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Naive Bayes adalah pengklasifikasi probabilistik cepat yang menerapkan teorema Bayes sambil mengasumsikan bahwa fitur-fitur tersebut independen secara kondisional mengingat kelasnya — sebuah metode yang diberikan perlakuan pembelajaran mesin standarnya dalam buku teks Machine Learning karya Tom Mitchell tahun 1997.
Meskipun asumsi penyederhanaan ('naive') ini, ia cepat dilatih dan seringkali sangat akurat.
Intuisi di balik metode
Alih-alih mempelajari interaksi kompleks antar fitur, Naive Bayes mengajukan pertanyaan yang lebih sederhana: mengingat setiap kelas, seberapa mungkin setiap nilai fitur itu sendiri? Kemudian ia mengalikan kemungkinan per-fitur ini bersama dengan tingkat dasar kelas dan memilih kelas yang paling mungkin. Berpura-pura fitur tidak berinteraksi membuat perhitungan menjadi trivial dan pelatihan sangat cepat — dan dalam praktiknya pengklasifikasi yang dihasilkan masih memberi peringkat kelas dengan baik bahkan ketika asumsi independensi tidak benar-benar berlaku.
Sejarah
Pengklasifikasi Naive Bayes berasal dari teori keputusan Bayesian klasik dan menjadi andalan pembelajaran mesin terapan, terutama untuk tugas klasifikasi teks seperti penyaringan spam. Metode ini menerima perlakuan buku teks standarnya dalam Machine Learning karya Tom Mitchell tahun 1997, yang menyajikan formulasi teorema Bayes dan asumsi independensi kondisional yang memberikan nama pada pengklasifikasi.
Kapan digunakan
Sangat cocok untuk klasifikasi cepat ketika Anda memiliki fitur kategorikal, biner, kontinu, atau teks dan setidaknya sekitar 30 observasi, terutama sebagai dasar yang kuat dan murah. Ini ringan dalam asumsi distribusi secara keseluruhan tetapi setiap varian membawa asumsi kemungkinannya sendiri (misalnya, normalitas dalam-kelas untuk varian Gaussian), dan sensitif terhadap ketidakseimbangan kelas. Ketika fitur sangat berkorelasi atau Anda memerlukan estimasi efek yang terkalibrasi, pilih regresi logistik.
Batasan dan pertimbangan
- Asumsi independensi kondisional jarang berlaku, sehingga estimasi probabilitas bisa kurang terkalibrasi bahkan ketika peringkatnya bagus.
- Sensitif terhadap ketidakseimbangan kelas: prior harus disesuaikan atau data diambil sampelnya ulang.
- Naive Bayes Gaussian menurun kinerjanya ketika asumsi normalitas dalam-kelas dilanggar.
- Tidak dapat diandalkan dengan sampel yang sangat kecil, di mana estimasi probabilitas per-kelas tidak dapat dipercaya.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Sangat cepat untuk dilatih dan diprediksi, bahkan pada data besar atau berdimensi tinggi seperti teks.
- Bekerja dengan baik sebagai dasar yang sederhana dan berbiaya rendah dan seringkali berkinerja baik meskipun asumsi naifnya.
- Menangani fitur kategorikal, biner, kontinu, dan teks melalui varian-variannya yang berbeda.
- Membutuhkan data pelatihan yang relatif sedikit untuk memperkirakan parameternya.
Penerapan
- Klasifikasi teks seperti penyaringan spam dan kategorisasi dokumen.
- Klasifikasi dasar yang cepat sebelum mencoba model yang lebih kompleks.
- Klasifikasi dengan fitur kategorikal, biner, kontinu, atau hitungan.
- Masalah berdimensi tinggi di mana kecepatan pelatihan penting.
Cara kerjanya
Cara kerjanya
Menurut teorema Bayes, probabilitas kelas mengingat fitur yang diamati sebanding dengan probabilitas prior kelas dikalikan kemungkinan fitur-fitur tersebut di bawah kelas itu. Langkah 'naive' adalah mengasumsikan fitur-fitur tersebut independen secara kondisional mengingat kelasnya, sehingga kemungkinan gabungan terfaktorisasi menjadi produk sederhana dari kemungkinan per-fitur. Asumsi ini jarang berlaku secara tepat dalam praktik, namun kinerja pengklasifikasi bisa sangat kuat.
Rumus
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)Dari data pelatihan, model memperkirakan prior kelas (seberapa umum setiap kelas) dan kemungkinan per-fitur. Bentuk kemungkinan bergantung pada varian: Naive Bayes Gaussian mengasumsikan fitur kontinu terdistribusi normal dalam setiap kelas, sementara Naive Bayes Multinomial cocok untuk jumlah frekuensi istilah dalam klasifikasi teks dan tidak menerima nilai negatif. Karena setiap kelas diperkirakan secara terpisah, harus ada cukup observasi per kelas — setidaknya sekitar 30 secara keseluruhan.
Untuk observasi baru, model menggabungkan prior dengan produk kemungkinan per-fitur untuk setiap kelas kandidat dan menetapkan kelas dengan probabilitas tertinggi yang dihasilkan. Karena kelas dinilai secara independen, dataset yang tidak seimbang dapat membiaskan hasil, sehingga probabilitas prior harus disesuaikan atau data diambil sampelnya ulang.
Rumus
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)Kesalahan umum
- Mempercayai probabilitas keluaran mentah sebagai terkalibrasi daripada memperlakukannya sebagai peringkat.
- Mengabaikan ketidakseimbangan kelas alih-alih menyesuaikan prior atau mengambil sampel ulang.
- Memasukkan nilai negatif ke dalam Naive Bayes Multinomial, yang tidak diterimanya.
- Menerapkan Naive Bayes Gaussian ke fitur kontinu yang jelas tidak normal tanpa memeriksa.
- Menjalankannya pada dataset dengan terlalu sedikit observasi per kelas (di bawah ~30 secara keseluruhan).
Pertanyaan yang sering diajukan
Mengapa disebut 'naive'?
Karena mengasumsikan fitur-fitur tersebut independen secara kondisional mengingat kelasnya — yaitu, mengetahui satu fitur tidak memberi tahu apa pun tentang fitur lain dalam suatu kelas. Ini jarang benar-benar literal, tetapi penyederhanaan membuat model trivial untuk diperkirakan dan cepat dijalankan, dan pengklasifikasi seringkali masih memberi peringkat kelas secara akurat.
Varian mana yang harus saya gunakan?
Naive Bayes Gaussian adalah untuk fitur kontinu yang diasumsikan terdistribusi normal dalam setiap kelas. Naive Bayes Multinomial cocok untuk data hitungan atau frekuensi istilah, seperti dalam klasifikasi teks, dan tidak menerima nilai negatif. Cocokkan varian dengan tipe fitur Anda.
Bisakah saya mempercayai probabilitas yang diprediksi?
Gunakan kelas yang diprediksi dengan hati-hati sebagai peringkat. Karena asumsi independensi biasanya dilanggar, probabilitas mentah cenderung didorong ke arah 0 atau 1 dan seringkali kurang terkalibrasi, bahkan ketika kelas yang dipilih benar.
Berapa banyak data yang dibutuhkan?
Ini ekonomis dengan data, tetapi Anda masih memerlukan observasi yang cukup per kelas — setidaknya sekitar 30 secara keseluruhan — sehingga prior kelas dan kemungkinan per-fitur dapat diperkirakan secara andal. Di bawah itu, regresi logistik adalah pilihan yang lebih aman.
Metode terkait
Sumber
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072Disalin.