Boosting Ensemble
- Ortaya koyan
- Robert Schapire
- Yıl
- 1990
- Tür
- sequential ensemble
- Aile
- Ensemble
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Boosting, zayıf öğrenicileri sıralı olarak eğiten ve önceki modellerin yanlış sınıflandırdığı örneklere odaklanarak bunları güçlü bir tahminciye dönüştüren bir topluluk yöntemidir.
Her yeni zayıf öğrenici, eğitim görevinin zorluğuna göre ağırlıklandırılır ve nihai tahminler ağırlıklı oylama yoluyla yapılır. Schapire (1990) tarafından öncülüğü yapılan ve AdaBoost (Freund & Schapire, 1997) ile geliştirilen boosting, zayıf öğrenicileri (rastgelelikten biraz daha iyi) sıralı yeniden ağırlıklandırma yoluyla güçlü öğrenicilere dönüştürür.
Yöntemin mantığı
Temel fikir, zor örneklere yinelemeli olarak odaklanmaktır: önce zayıf bir model eğitin, yanlış sınıflandırdığı örnekleri belirleyin, ardından bu yanlış sınıflandırılmış örnekler üzerinde artırılmış ağırlıkla yeni bir zayıf model eğitin. Bu, sonraki her modelin önceki modellerin kaçırdığı örüntüleri öğrenmesini zorlar. Yinelemeler boyunca, topluluk, doğruluğuna göre ağırlıklandırılmış zayıf modelleri birleştirerek güçlü bir tahminciyle sonuçlanır. Bagging'in (paralel) aksine, boosting doğası gereği sıralıdır; her model önceki modellerin performansına bağlıdır.
Tarih
Boosting, zayıf öğrenicilerin güçlü öğrenicilere birleştirilebileceğini gösteren Schapire'in 1990 tarihli teorik sonucundan kaynaklanmıştır. AdaBoost (Freund & Schapire, 1997), uyarlanabilir ağırlıklandırmayı tanıtarak boosting'i pratik hale getirmiştir. Gradyan boosting (Friedman, 2001), keyfi kayıp fonksiyonlarının optimizasyonunu sağlayarak çerçeveyi genelleştirmiştir. XGBoost, LightGBM ve CatBoost gibi modern varyantlar, çok sayıda makine öğrenmesi yarışmasını kazanarak endüstri standardı haline gelmiştir.
Ne zaman kullanılır?
Zayıf öğrenicileriniz olduğunda ve bunları güçlü bir topluluğa dönüştürmek istediğinizde boosting kullanın. Hem yanlılığı hem de varyansı azaltmada özellikle etkilidir. Boosting, orta karmaşıklıktaki taban öğrenicilerle (örneğin, sığ ağaçlar, derinlik 3-4) en iyi şekilde çalışır ve bunlar yinelemeli olarak geliştirilebilir. Taban öğreniciler zaten güçlüyse veya hızlı eğitime ihtiyacınız varsa boosting'den kaçının, çünkü sıralı boosting hesaplama açısından pahalıdır.
Sınırlar ve dikkat edilmesi gerekenler
- Sıralı eğitim, bagging gibi paralel yöntemlere kıyasla hesaplama açısından pahalıdır.
- Gürültülü verilere ve aykırı değerlere duyarlıdır (zor örneklere aşırı ağırlık verir).
- Öğrenme oranı, yineleme sayısı ve taban öğrenici karmaşıklığının dikkatli ayarlanmasını gerektirir.
- Yineleme sayısı çok fazlaysa aşırı uyum sağlayabilir; erken durdurma veya doğrulama izlemesi gerektirir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Hem yanlılığı hem de varyansı azaltır, genellikle üstün genelleme performansı elde eder.
- Zayıf öğrenicileri yinelemeli yeniden ağırlıklandırma yoluyla güçlü öğrenicilere dönüştürür.
- Hata azaltma konusunda teorik garantiler (belirli koşullar altında).
- Karar ağaçları gibi düşük yanlılık, yüksek varyanslı taban öğrenicilerle iyi çalışır.
- Eğitim verilerindeki ilgisiz özelliklere ve gürültüye karşı dayanıklıdır.
Uygulama alanları
- Kredi riski değerlendirmesi: kredi verilebilir borçluları geliştirilmiş doğrulukla sınıflandırmak için sığ karar ağaçlarını boosting.
- Yüz tespiti: bilgisayar görüşü sistemlerinde gerçek zamanlı yüz tespiti için Haar kaskadları ile AdaBoost.
- Metin sınıflandırması: duygu analizi ve belge kategorizasyonu için gradyan boosting.
- Tıbbi teşhis: yüksek hassasiyet ve özgüllük ile hastalık tahmini için zayıf sınıflandırıcıları boosting.
- Dolandırıcılık tespiti: finansal verilerdeki dolandırıcılık işlemlerini tespit etmek için topluluk boosting yöntemleri.
Nasıl çalışır?
Nasıl çalışır?
Tüm eğitim örnekleri için eşit ağırlıklarla başlayın.
Her yineleme için: ağırlıklandırılmış eğitim verileri üzerinde bir zayıf öğrenici (örneğin, sığ karar ağacı) eğitin, hata oranını hesaplayın ve yanlış sınıflandırılmış örneklere uygulanan ağırlıkları artırın.
Her zayıf öğreniciye doğruluğuna göre bir ağırlık atayın. Daha doğru öğreniciler daha yüksek ağırlıklar alır; zayıf (rastgeleliğe yakın) öğreniciler daha düşük ağırlıklar alır.
Yeni bir örnek için, ağırlıklar her öğrenicinin doğruluğunu yansıtan ağırlıklı oylama yoluyla tüm zayıf öğrenicilerden gelen tahminleri toplayın.
Sık yapılan hatalar
- Güçlü taban öğreniciler (örneğin, derin karar ağaçları) kullanmak boosting'in amacını boşa çıkarır; zayıf öğrenicilere bağlı kalın.
- Doğrulama hatasını izlemeden çok fazla yineleme için eğitim yapmak, aşırı uyuma yol açar.
- Örnek ağırlıklarında istikrarsızlığa neden olan çok yüksek bir öğrenme oranı ayarlamak.
- Öğrenme verilerindeki gürültüye aşırı uyum sağlayabilen kontrolsüz dış örnek performansını izlememek.
Sık sorulan sorular
Zayıf öğrenici nedir ve ne kadar zayıf olmalıdır?
Zayıf öğrenici, hata oranı %50'nin biraz altında olan bir sınıflandırıcıdır (rastgele tahminlerden daha iyi). Pratikte, 2-3 derinliğinde karar ağaçları veya kısa doğrusal sınıflandırıcılar gibi basit modeller kullanılır. Taban öğrenicinin hata oranı > %45 ise, boosting onu iyileştirecektir; eğer < %10 ise, öğrenici çok güçlüdür ve boosting çok az değer katar.
Kaç yineleme boosting kullanmalıyım?
50-100 yineleme ile başlayın ve doğrulama hatasını izleyin. Erken durdurma kullanın: doğrulama hatası birkaç yineleme boyunca durağanlaşırsa veya artarsa, eğitimi durdurun. Üretim için, veri boyutuna ve karmaşıklığına bağlı olarak tipik olarak 100-1000 yineleme kullanılır.
Boosting, bagging'den nasıl farklıdır?
Bagging, rastgele alt kümeler üzerinde taban öğrenicileri paralel olarak eğitir ve tahminleri ortalar (ağırlıklandırma yok). Boosting sıralı olarak eğitir, zor örnekleri yeniden ağırlıklandırır ve ağırlıklı oylama kullanır. Bagging varyansı azaltır; boosting hem yanlılığı hem de varyansı azaltır. Bagging daha hızlıdır; boosting daha güçlüdür.
Boosting neden çok fazla yineleme ile aşırı uyum sağlar?
Yinelemeler arttıkça, aykırı değerler üzerindeki ağırlıklar üstel olarak artar, bu da topluluğun gürültüye uyum sağlamasına neden olur. Eğitim hatası azalmaya devam eder, ancak test hatası artabilir. Doğrulama hatasını izleyin ve artmaya başladığında durdurun, aşırı uyumu önlemek için erken durdurmayı kullanın.
İlgili yöntemler
Kaynaklar
Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.
DOI kaynağını açKopyalandı.Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.
DOI kaynağını açKopyalandı.