Naive Bayes
- Ortaya koyan
- Mitchell, T. M. (textbook treatment)
- Yıl
- 1997
- Tür
- Probabilistic classifier (Bayes' theorem with conditional independence)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Naive Bayes, Bayes teoremini uygulayan hızlı bir olasılıksal sınıflandırıcıdır ve özelliklerin sınıfa göre koşullu olarak bağımsız olduğunu varsayar — bu yöntem, Tom Mitchell'in 1997 tarihli Makine Öğrenmesi ders kitabında standart makine öğrenmesi işlemiyle ele alınmıştır.
Bu basitleştirici ('saf') varsayıma rağmen, eğitilmesi hızlıdır ve genellikle şaşırtıcı derecede doğrudur.
Yöntemin mantığı
Özellikler arasındaki karmaşık etkileşimleri öğrenmek yerine, Naive Bayes daha basit bir soru sorar: her bir sınıf verildiğinde, her bir özellik değerinin kendi başına olasılığı nedir? Daha sonra bu özellik başına olasılıkları, sınıfın taban oranıyla çarpar ve en olası çıkan sınıfı seçer. Özelliklerin etkileşmediğini varsaymak matematiği önemsiz hale getirir ve eğitimi son derece hızlı yapar — ve pratikte, bağımsızlık varsayımı tam olarak doğru olmadığında bile elde edilen sınıflandırıcı sınıfları iyi sıralar.
Tarih
Naive Bayes sınıflandırıcıları, klasik Bayes karar teorisinden doğmuş ve özellikle spam filtreleme gibi metin sınıflandırma görevleri için uygulamalı makine öğrenmesinin temel taşı haline gelmiştir. Yöntem, Tom Mitchell'in 1997 tarihli Makine Öğrenmesi kitabında standart ders kitabı işlemiyle ele alınır; bu kitap, sınıflandırıcıya adını veren Bayes teoremi formülasyonunu ve koşullu bağımsızlık varsayımını sunar.
Ne zaman kullanılır?
Kategorik, ikili, sürekli veya metin özelliklerine sahip olduğunuzda ve en az yaklaşık 30 gözleminiz olduğunda, özellikle güçlü, ucuz bir temel çizgi olarak hızlı sınıflandırma için uygundur. Genel olarak dağılım hakkında varsayımları hafiftir ancak her değişken kendi olasılık varsayımını taşır (örneğin, Gauss değişkeni için sınıf içi normallik) ve sınıf dengesizliğine duyarlıdır. Özellikler güçlü bir şekilde ilişkiliyse veya kalibre edilmiş etki tahminleri gerekiyorsa, lojistik regresyonu tercih edin.
Sınırlar ve dikkat edilmesi gerekenler
- Koşullu bağımsızlık varsayımı nadiren geçerlidir, bu nedenle sıralama iyi olduğunda bile olasılık tahminleri kötü kalibre edilmiş olabilir.
- Sınıf dengesizliğine duyarlıdır: önsel olasılıklar ayarlanmalı veya veri yeniden örneklenmelidir.
- Gauss Naive Bayes, sınıf içi normallik varsayımı ihlal edildiğinde bozulur.
- Özellik başına olasılık tahminlerinin güvenilir olmadığı çok küçük örneklemlerde güvenilmezdir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Büyük veya yüksek boyutlu verilerde bile, metin gibi, eğitmek ve tahmin etmek için son derece hızlıdır.
- Basit, düşük maliyetli bir temel çizgi olarak iyi çalışır ve saf varsayımına rağmen genellikle şaşırtıcı derecede iyi performans gösterir.
- Farklı değişkenleri aracılığıyla kategorik, ikili, sürekli ve metin özelliklerini işler.
- Parametrelerini tahmin etmek için nispeten az eğitim verisi gerektirir.
Uygulama alanları
- Spam filtreleme ve belge sınıflandırma gibi metin sınıflandırma.
- Daha karmaşık modelleri denemeden önce hızlı temel sınıflandırma.
- Kategorik, ikili, sürekli veya sayım özellikleriyle sınıflandırma.
- Eğitim hızının önemli olduğu yüksek boyutlu problemler.
Nasıl çalışır?
Nasıl çalışır?
Bayes teoremine göre, gözlemlenen özellikler verildiğinde bir sınıfın olasılığı, sınıfın önsel olasılığının o sınıf altındaki özelliklerin olasılığı ile çarpımına orantılıdır. 'Saf' adım, özelliklerin sınıfa göre koşullu olarak bağımsız olduğunu varsaymaktır, böylece ortak olasılık, özellik başına olasılıkların basit bir çarpımına ayrışır. Bu varsayım pratikte nadiren tam olarak geçerlidir, ancak sınıflandırıcının performansı şaşırtıcı derecede güçlü olabilir.
Formül
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)Eğitim verilerinden model, sınıf önsel olasılıklarını (her sınıfın ne kadar yaygın olduğu) ve özellik başına olasılıkları tahmin eder. Olasılık biçimi değişkene bağlıdır: Gauss Naive Bayes, sürekli özelliklerin her sınıf içinde normal olarak dağıldığını varsayar, oysa Çoklu Naive Bayes metin sınıflandırmasındaki terim sıklığı sayıları için uygundur ve negatif değerleri kabul etmez. Her sınıf ayrı ayrı tahmin edildiği için, her sınıf başına yeterli gözlem olmalıdır — en azından genel olarak yaklaşık 30.
Yeni bir gözlem için model, önsel olasılığı her aday sınıf için özellik başına olasılıkların çarpımıyla birleştirir ve en yüksek sonuç olasılığına sahip sınıfı atar. Sınıflar bağımsız olarak puanlandığı için, dengesiz bir veri kümesi sonuca ön yargılı olabilir, bu nedenle önsel olasılıklar ayarlanmalı veya veri yeniden örneklenmelidir.
Formül
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)Sık yapılan hatalar
- Sıralama olarak değil, ham çıktı olasılıklarına kalibre edilmiş olarak güvenmek.
- Önsel olasılıkları ayarlamak veya veriyi yeniden örneklemek yerine sınıf dengesizliğini göz ardı etmek.
- Kabul etmediği Çoklu Naive Bayes'e negatif değerler beslemek.
- Gauss Naive Bayes'i açıkça normal olmayan sürekli özelliklere kontrol etmeden uygulamak.
- Sınıf başına çok az gözlemle çalıştırmak (genel olarak ~30'un altında).
Sık sorulan sorular
Neden 'saf' olarak adlandırılır?
Çünkü özelliklerin sınıfa göre koşullu olarak bağımsız olduğunu varsayar — yani, bir özelliği bilmenin bir sınıf içindeki diğer özellik hakkında hiçbir şey söylemediğini varsayar. Bu nadiren kelimenin tam anlamıyla doğrudur, ancak basitleştirme modeli tahmin etmeyi önemsiz ve çalıştırmayı hızlı hale getirir ve sınıflandırıcı genellikle sınıfları hala doğru bir şekilde sıralar.
Hangi değişkeni kullanmalıyım?
Gauss Naive Bayes, her sınıf içinde normal olarak dağıldığı varsayılan sürekli özellikler içindir. Çoklu Naive Bayes, metin sınıflandırmadaki gibi sayım veya terim sıklığı verileri için uygundur ve negatif değerleri kabul etmez. Değişkeni özellik türünüze göre eşleştirin.
Tahmin edilen olasılıklara güvenebilir miyim?
Tahmin edilen sınıfı bir sıralama olarak dikkatli kullanın. Bağımsızlık varsayımı genellikle ihlal edildiği için, ham olasılıklar 0 veya 1'e doğru itilme eğilimindedir ve seçilen sınıf doğru olsa bile genellikle kötü kalibre edilir.
Ne kadar veriye ihtiyacı var?
Veri konusunda ekonomiktir, ancak sınıf önsel olasılıklarını ve özellik başına olasılıkları güvenilir bir şekilde tahmin etmek için yeterli gözlem — en azından genel olarak yaklaşık 30 — hala gereklidir. Bunun altında, lojistik regresyon daha güvenli bir seçimdir.
İlgili yöntemler
Kaynaklar
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072Kopyalandı.