Çoğunluk Oylaması
- Ortaya koyan
- Leo Breiman
- Yıl
- 1996
- Tür
- voting aggregation
- Aile
- Ensemble
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Çoğunluk oylaması, birden çok temel sınıflandırıcının tahminlerini, en çok oyu alan sınıfı seçerek birleştiren bir topluluk (ensemble) yöntemidir.
Her bir temel sınıflandırıcı, tahmin edilen bir sınıf için bir oy kullanır ve nihai tahmin çoğunluk (salt çoğunluk) oyu alan sınıftır. Bu yaklaşım, sınıflandırma doğruluğunu artırmanın basit ama etkili bir yolu olarak 1990'larda Leo Breiman ve arkadaşları tarafından biçimlendirilmiştir.
Yöntemin mantığı
Temel fikir, farklı zayıf sınıflandırıcıları birleştirerek demokratik oylama yoluyla daha güçlü bir kolektif karar üretilebileceğidir. Bireysel modeller kusurlu olsa da farklı hatalar yapıyorsa, çoğunluk oyu izole edilmiş yanlış sınıflandırmaları filtreler. Bu, temel sınıflandırıcıların bağımsız olduğu ve rastgele tahmin etmeden daha iyi ancak mükemmel olmayan orta düzeyde bir doğruluğa sahip olduğu durumlarda en iyi sonucu verir. Güç, anlaşmazlıktan gelir: modeller anlaşamadığında, kalabalığın kararı herhangi bir tek modelden daha güvenilirdir.
Tarih
Çoğunluk oylaması, topluluk öğreniminin önem kazandığı 1990'ların başlarında ortaya çıktı. Breiman'ın bagging (1996) üzerine çalışmaları, birden çok modeli birleştirme fikrini popülerleştirdi. Kuncheva (2004), topluluk birleştirme yöntemleri üzerine kapsamlı bir teori sundu. Sert oylama, en basit ve en sezgisel topluluk stratejilerinden biri olmaya devam etmekte ve genellikle stacking ve boosting gibi daha gelişmiş yöntemler için bir taban çizgisi görevi görmektedir.
Ne zaman kullanılır?
Birden çok temel sınıflandırıcınız olduğunda ve basit, yorumlanabilir topluluk tahminleri gerektiğinde çoğunluk oylamasını kullanın. Çok sınıflı sınıflandırma için iyi çalışır ve temel sınıflandırıcıların nispeten bağımsız olduğunu varsayar. Tüm temel modellerin aynı hataları yapma eğiliminde olması veya yüksek derecede ilişkili olması durumunda daha az etkilidir. Temel öğrenicileri bireysel doğruluklarına göre ağırlıklandırmanız gerekiyorsa diğer topluluk yöntemlerini (boosting, stacking) tercih edin.
Sınırlar ve dikkat edilmesi gerekenler
- Sınıflandırıcı güvenilirliğini göz ardı eder—her model, doğruluğuna bakılmaksızın eşit bir oy alır.
- Temel sınıflandırıcılar yüksek derecede ilişkili ise veya hepsi sistematik hatalar yapıyorsa etkisizdir.
- Çok sınıflı ayarlarda beraberlikler oluşabilir, bu da keyfi beraberlik kuralı gerektirir.
- Performans, temel sınıflandırıcı çeşitliliğine ve bireysel kaliteye kritik derecede bağlıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Uygulaması ve anlaşılması basittir—doğrudan oylama kuralı herhangi bir ayarlama gerektirmez.
- Hesaplama açısından verimlidir—tahmin süresi, temel sınıflandırıcıların sayısıyla doğrusal olarak ölçeklenir.
- Çoğunluk net olduğunda aykırı tahminlere karşı dayanıklıdır.
- Herhangi bir temel sınıflandırıcı türüyle çalışır (heterojen topluluklar mümkündür).
Uygulama alanları
- Tıbbi teşhis: bireysel model yanlılığını azaltmak için birden çok klinik karar destek modelinden gelen tahminleri birleştirmek.
- Spam tespiti: kural tabanlı filtreler, Naive Bayes ve SVM sınıflandırıcılarından gelen kararları toplamak.
- Kredi riski değerlendirmesi: kredi onayı üzerine karar ağaçları ve lojistik regresyon modelleri topluluğunun oylaması.
- Görüntü sınıflandırma: bilgisayar görüşünde nesne kategorisi üzerine birden çok evrişimli sinir ağının oylaması.
- Duygu analizi: metin incelemeleri üzerinde LSTM, transformer ve el yapımı özellik modellerinin çıktısını birleştirmek.
Nasıl çalışır?
Nasıl çalışır?
Aynı veya bootstrap örneklenmiş eğitim verileri üzerinde K bağımsız temel sınıflandırıcıyı (örneğin, karar ağaçları, lojistik regresyon, sinir ağları) eğitin.
Yeni bir örneklem için, onu eğitilmiş K sınıflandırıcının her birinden geçirin ve bireysel tahminlerini toplayın.
Her sınıf için oyları sayın ve yeni örneği en çok oyu alan sınıfa atayın. Beraberlik durumunda, bir beraberlik kuralı kullanın (örneğin, rastgele seçim veya önceden tanımlanmış öncelik).
Sık yapılan hatalar
- Tüm temel sınıflandırıcıları aynı veriler üzerinde eğitmek çeşitliliği azaltır ve oylar gereksiz hale gelir.
- Zayıf veya yanlı sınıflandırıcıları dahil etmek, doğru modellerin oylama gücünü seyreltir.
- Temel modellerin yeterince bağımsız olduğunu kontrol etmeden çoğunluk oylamasının işe yarayacağını varsaymak.
- Beraberlikleri stratejik olarak ele almayı ihmal etmek—rastgele beraberlik kuralı istikrarsızlık yaratabilir.
Sık sorulan sorular
Temel sınıflandırıcı sayısını nasıl seçerim?
5-10 sınıflandırıcı ile başlayın; daha fazlasını eklemek kararlılığı artırabilir ancak azalan getirilerle. Doğruluk kazanımlarını hesaplama maliyetiyle dengeleyin. Daha fazla sınıflandırıcı, çeşitli olduklarında yardımcı olur; gereksiz modeller değer katmaz.
Temel sınıflandırıcı sayısı çiftse ve bir beraberlik oluşursa ne olur?
Eğitimden önce bir beraberlik kuralı tanımlayın: en yüksek kümülatif tahmin güvenine sahip sınıfa atayın, rastgele seçim kullanın veya önceden tanımlanmış varsayılan bir sınıfa atayın. Tutarlı beraberlik kuralı tekrarlanabilirliği sağlar.
Çoğunluk oylamasını regresyon problemleriyle kullanabilir miyim?
Sert oylama sınıflandırma için tasarlanmıştır. Regresyon için, bunun yerine yumuşak ortalama (tahminlerin ortalaması) veya ağırlıklı ortalama kullanın.
Temel sınıflandırıcı çeşitliliği daha iyi topluluk performansı garanti eder mi?
Çeşitlilik yardımcı olur ancak yeterli değildir. Temel sınıflandırıcılar hem hata desenlerinde çeşitli olmalı hem de bireysel olarak rastgele tahminden daha iyi olmalıdır. Eğitim hatası korelasyonu yoluyla çeşitliliği ampirik olarak ölçün.
İlgili yöntemler
Kaynaklar
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
DOI kaynağını açKopyalandı.Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
Yayın kaynağını açKopyalandı.