Oy Birliği Topluluğu
- Ortaya koyan
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Yıl
- 1990s–2004
- Tür
- Ensemble (combination of multiple classifiers by vote)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bir oy birliği topluluğu, birkaç farklı sınıflandırıcıyı bağımsız olarak eğitir ve tahminlarını oylama yoluyla birleştirir: sert oylama en çok modelin seçtiği sınıfı seçerken, yumuşak oylama sınıf-olasılık tahminlarını isteğe bağlı olarak model ağırlıklarıyla ortalamasını alır.
Kombinasyon genellikle herhangi bir bireysel üyeden daha iyi performans gösterir ve temel modeller takıldıktan sonra ek eğitim gerektirmez.
Yöntemin mantığı
Beş doktordan teşhis istemeyi ve çoğunluk görüşüne gitmeyi hayal edin. Her doktor farklı şekillerde hata yapabilir, ancak kararlarını birleştirmek bireysel hataları iptal eder. Bir oy birliği topluluğu da aynı şekilde çalışır: farklı modeller farklı örneklerde başarısız olur, bu nedenle birleştirilmiş oyları tek bir modelden daha güvenilirdir. Yumuşak oylama, daha emin modellerin olasılık puanları aracılığıyla nihai karara orantılı olarak daha fazla katkıda bulunmasına izin vererek bunu keskinleştirir.
Tarih
Sınıflandırıcıların çoğunluk oyuyla birleştirilmesi 1990'ların başlarından beri sistematik olarak incelenmiş, Lam ve Suen (1994) ve Kittler vd. (1998) tarafından dikkate değer teorik temellerle desteklenmiştir. Ludmila Kuncheva'nın 2004 tarihli monografisi, sert ve yumuşak oylama, ağırlıklı oylama ve çeşitliliğin rolünü kapsayan desen sınıflandırıcılarını birleştirmenin kesin tedavisini sağlamıştır. Yumuşak oylama, scikit-learn'in VotingClassifier'ı aracılığıyla pratik popülerlik kazanmış, bu da keyfi tahmincileri tek bir API çağrısında birleştirmeyi kolaylaştırmıştır.
Ne zaman kullanılır?
İki veya daha fazla önceden eğitilmiş farklı sınıflandırıcınız olduğunda ve ek eğitim maliyeti olmadan hızlı, yorumlanabilir bir kombinasyon istediğinizde bir oy birliği topluluğu kullanın. Bireysel modeller benzer ortalama doğruluğa ancak farklı hata profillerine sahip olduğunda özellikle değerlidir - bunları birleştirmek gerçek kazanımlar sağlar. Temel modeller kalibre edilmiş olasılıklar yaydığında yumuşak oylama tercih edilir. Düzgün model seçimi yerine oy birliği topluluklarını kullanmayın: tüm temel öğreniciler zayıfsa veya ilişkili hatalar yapıyorsa, bunları birleştirmek yardımcı olmaz. Paydaşlar veya düzenlemeler tarafından tek bir modelin yorumlanabilirliği gerekiyorsa kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Temel öğreniciler yüksek oranda ilişkili hatalar yaptığında kazanımlar minimum veya yoktur.
- Yumuşak oylama, tüm temel öğrenicilerin kalibre edilmiş, karşılaştırılabilir olasılık tahminleri yaymasını gerektirir.
- Çıkarım maliyeti, temel öğrenici sayısıyla doğrusal olarak ölçeklenir; büyük topluluklar yavaş olabilir.
- Otomatik olarak optimal kombinasyon ağırlıklarını öğrenmek için mekanizma yoktur - istifleme (stacking) aksine, ağırlıklar manuel olarak ayarlanmalıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Uygulaması basittir: temel modellerin takılmasının ötesinde meta-öğrenici eğitimi gerekmez.
- Üyeler farklı olduğunda genellikle herhangi bir tek temel öğreniciden daha iyi doğruluk ve sağlamlık iyileştirir.
- Yumuşak oylama olasılık kalibrasyonundan yararlanır, genellikle sert oylamadan daha iyi performans gösterir.
- Heterojen model ailelerini destekler, sınıflandırıcıların herhangi bir kombinasyonuna izin verir.
- Temel öğrenicileri topluluk altyapısını yeniden eğitmeden eklemek veya kaldırmak kolaydır.
Uygulama alanları
- Klinik risk tahmini için lojistik regresyon, SVM ve ağaç tabanlı modelleri birleştirme.
- Birden çok dil modeli ince ayarının tahminlerini birleştirerek sağlam metin sınıflandırması.
- Rekabetçi makine öğrenmesi (Kaggle tarzı), en iyi k farklı modelin birleştirilmesinin lider tablosu puanını iyileştirdiği yer.
- Topluluk sağlamlığının tek model basitliğinden daha önemli olduğu üretim ortamları.
- İstifleme veya güçlendirme (boosting) çabası göstermeden önce temel topluluk.
Nasıl çalışır?
Nasıl çalışır?
Tam eğitim kümesi üzerinde veya kendi ayarlanmış yapılandırmaları üzerinde bağımsız olarak eğitilen bir K temel öğrenici kümesi (örneğin, bir lojistik regresyon, bir k-en yakın komşular sınıflandırıcısı ve bir karar ağacı gibi tamamen farklı model ailelerinden olabilir). Temel öğreniciler arasındaki çeşitlilik esastır: benzer hatalar yapan modellerin birleştirilmesinden çok az fayda sağlanır.
Çıkarım zamanında her temel öğrenici yeni girdi için bir tahmin üretir. Sert oylama için bu basitçe bir sınıf etiketidir; yumuşak oylama için her öğrenici, seçilen tüm temel öğrenicilerin anlamlı olasılık tahminleri yayacak şekilde kalibre edilebilmesi kısıtlamasını getiren sınıf olasılıkları vektörünü çıktı olarak vermelidir.
Sert oylamada topluluk, her sınıfı kaç modelin tahmin ettiğini sayar ve çoğunluk oyu alan etiketi atar. Beraberlikler sabit bir kural (örneğin, en düşük sınıf indeksi) ile bozulur. Bu mod, temel öğreniciler güvenilir olasılıklar üretemediğinde bile çalışır.
Formül
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]Yumuşak oylamada topluluk, tüm temel öğreniciler arasındaki sınıf-olasılık vektörlerini ortalar (veya w_k ağırlıklarını kullanarak ağırlıklı bir ortalama alır) ve en yüksek ortalamalı olasılığa sahip sınıfı tahmin eder. Yumuşak oylama, yalnızca kazanan sınıfa değil, olasılık büyüklüklerinden yararlandığı için, temel öğreniciler iyi kalibre edildiğinde genellikle sert oylamadan daha iyi performans gösterir.
Formül
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)Topluluk, kazanan sınıf etiketini ve yumuşak oylama modunda, aşağı akış eşik ayarlaması, sıralama veya kalibrasyon tanılamaları için kullanılabilecek ortalamalı olasılık vektörünü döndürür. Temel modeller takıldıktan sonra ek bir eğitim adımı gerekmez.
Sık yapılan hatalar
- Aynı veri üzerinde ayarlanmış temel öğrenicileri çapraz doğrulama olmadan birleştirmek iyimser hata tahminlerine yol açar.
- Kötü kalibre edilmiş olasılık çıktılarıyla (örneğin, ham SVM karar değerleri) yumuşak oylama kullanmak, yardımcı olmaktan çok zarar verebilir.
- Çok benzer temel öğreniciler seçmek - aynı model ailesinin tüm varyantları - çeşitliliği ortadan kaldırır ve hesaplamayı boşa harcar.
- Sınıf dengesizliğini göz ardı etmek: temel öğreniciler bireysel olarak dengelenmemişse, oyları toplu olarak çoğunluk sınıfı yanlılığını artıracaktır.
- Oy birliği topluluğu doğruluğunu, daha basit tek bir modelin aynı sonucu elde edip etmediğini kontrol etmeden nihai olarak kabul etmek.
Sık sorulan sorular
Kaç temel öğrenici dahil etmeliyim?
Sabit bir kural yoktur, ancak üç ila yedi farklı sınıflandırıcı yaygın bir pratik aralıktır. Azalan getiriler noktasının ötesinde daha fazla öğrenici eklemek, doğruluğu anlamlı bir şekilde artırmadan çıkarım gecikmesini artırır.
Yumuşak oylamayı sert oylama yerine ne zaman tercih etmeliyim?
Tüm temel öğreniciler iyi kalibre edilmiş olasılık çıktıları ürettiğinde yumuşak oylama kullanın - genellikle yalnızca kazanan sınıf yerine tam olasılık dağılımını kullandığı için daha yüksek doğruluk sağlar. Olasılıklar kötü kalibre edilmiş veya mevcut değilse, sert oylama daha güvenlidir.
Ağırlıklı yumuşak oylamada ağırlıkları nasıl seçerim?
Basit bir yaklaşım, her modeli eğitim kümesindeki çapraz doğrulanmış doğruluğu veya AUC'si ile ağırlıklandırmaktır. Daha ilkeli yaklaşımlar, tutulan bir doğrulama kümesi aracılığıyla ağırlıkları optimize eder, ancak doğrulama kümesi küçükse aşırı uyum riski taşır.
Oy birliği topluluğu istiflemeden (stacking) nasıl farklıdır?
Oy birliği toplulukları, temel model çıktılarını sabit kurallarla (çoğunluk veya ortalama) birleştirir. İstifleme, optimal kombinasyonu öğrenmek için temel model çıktılarında bir meta-öğrenici eğitir - daha güçlü ancak daha karmaşık ve çapraz doğrulama doğru kullanılmazsa veri sızıntısına eğilimlidir.
Çeşitlilik her zaman topluluğu iyileştirir mi?
Çeşitlilik gereklidir ancak yeterli değildir. Temel öğreniciler de bireysel olarak doğru olmalıdır; zayıf, çeşitli sınıflandırıcıların bir topluluğu hala kötü performans gösterebilir. Amaç, doğru modeller arasında çeşitli hatalardır.
İlgili yöntemler
Kaynaklar
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Kopyalandı.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
DOI kaynağını açKopyalandı.