Bagging Ensemble
- Ortaya koyan
- Leo Breiman
- Yıl
- 1996
- Tür
- parallel ensemble
- Aile
- Ensemble
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bagging, yani bootstrap toplama (bootstrap aggregating) kısaltması, tek bir öğrenme algoritmasının birden çok kopyasını eğitim verisinin farklı rastgele alt kümeleri üzerinde eğreterek varyansı azaltan bir topluluk (ensemble) yöntemidir.
Her alt küme, yerine koyarak rastgele örnekleme yoluyla oluşturulan bootstrap örneklemesiyle elde edilir. Tahminler çoğunluk oylaması (sınıflandırma) veya ortalama alma (regresyon) yoluyla birleştirilir. Leo Breiman tarafından 1996'da tanıtılan bagging, rastgele ormanların (random forests) temelini oluşturur ve özellikle yüksek varyanslı modellerde aşırı uyumu (overfitting) azaltmada etkilidir.
Yöntemin mantığı
Temel fikir, aynı modelin farklı rastgele veri alt kümeleri üzerinde eğitilip tahminlerinin ortalamasının alınmasıyla, yanlılığı (bias) artırmadan varyansın azaltılmasıdır. Bir model belirli eğitim örneklerine aşırı uyum sağlarsa, farklı bootstrap örnekleri bu aşırı uyumun farklı alt kümelerini ortaya çıkarır ve ortalama alma işlemi yapay örüntüleri iptal eder. Bagging rastgelelikten yararlanır: her bootstrap örneği biraz farklıdır, bu nedenle eğitilen her model biraz farklıdır ve bunların toplu çıktısı herhangi bir bireysel modelden daha kararlıdır.
Tarih
Bagging, istatistikten gelen bootstrap yöntemini (Efron, 1979) temel alan Leo Breiman tarafından 1996'da tanıtılmıştır. Breiman, bagging'in kararsız öğrenicilerin tahmin hatasını varyansı azaltarak düşürdüğünü göstermiştir. Yöntem, bagging'i rastgele özellik seçimiyle birleştiren Rastgele Ormanların (Breiman, 2001) tanıtılmasıyla temel hale gelmiştir. Bagging, özellikle topluluk yöntemleri için makine öğrenmesinde standart bir teknik olarak kalmaktadır.
Ne zaman kullanılır?
Yüksek varyanslı (örneğin, aşırı uyum eğilimi gösteren karar ağaçları, yapay sinir ağları) modellerle çalışırken bagging kullanın. Temel öğrenicilerin kararsız olduğu—eğitim verisindeki küçük değişikliklere duyarlı olduğu—durumlarda en etkilidir. Bagging, düşük yanlılık, düşük varyanslı modeller (örneğin, küçük k ile k-NN, kararlı veriler üzerinde doğrusal regresyon) için daha az etkilidir. Ayrıca, her temel öğrenici bağımsız olarak eğitilebildiği için paralel hesaplamaya çok uygundur.
Sınırlar ve dikkat edilmesi gerekenler
- Yanlılık azaltımı sağlamaz; yalnızca yüksek varyanslı temel öğreniciler için etkilidir.
- Hesaplama maliyeti, temel öğrenici sayısıyla doğrusal olarak ölçeklenir.
- Bootstrap örnekleri, kasıtlı örnekleme stratejilerine kıyasla çeşitlilikten yoksundur.
- Yüksek yanlılığa sahip temel modellerde (örneğin, karmaşık veriler üzerindeki doğrusal modeller) performansı iyileştirmeyebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Yanlılığı artırmadan varyansı azaltır, genelleştirmeyi iyileştirir.
- Herhangi bir temel öğrenici türüyle çalışır; ağaçlar gibi kararsız modeller kullanılabilir.
- Kolayca paralelleştirilebilir—her bootstrap örneği bağımsız olarak işlenebilir.
- Çıkarılmamış hata (out-of-bag error) hesaplaması yoluyla varyans tahminleri sağlar.
- Minimum hiperparametre ayarlamasıyla uygulaması basittir.
Uygulama alanları
- Tıbbi teşhis: gürültülü hasta verilerine karşı sağlamlığı artırmak için hastalık sınıflandırması amacıyla karar ağaçlarının bagging'i.
- Finansal risk modellemesi: piyasa koşulları genelinde kredi temerrüt tahmini için karar ağaçları topluluğu.
- Uzaktan algılama: aşırı uyumu azaltılmış uydu görüntülerini sınıflandırmak için görüntü sınıflandırıcılarının bagging'i.
- Genomik: yüksek boyutlu mikroarray verilerinden gen seçimi ve hastalık tahmini için topluluk yöntemleri.
- Üretim kalite kontrolü: üretim süreçlerindeki kusur tespiti için yapay sinir ağlarının bagging'i.
Nasıl çalışır?
Nasıl çalışır?
Eğitim verisinden yerine koyarak rastgele örnekleme yoluyla, her biri orijinal veri kümesi boyutunda B adet bootstrap örneği oluşturun.
Her bootstrap örneği üzerinde bağımsız bir temel öğrenici (örneğin, karar ağacı, yapay sinir ağı) eğitin.
Yeni bir girdi için, bu girdiyi eğitilmiş B temel öğrenicinin tamamından geçirin ve tahminlerini toplayın.
Tahminleri çoğunluk oylaması (sınıflandırma) veya ortalama alma (regresyon) yoluyla birleştirin.
Sık yapılan hatalar
- Çok az temel öğrenici kullanmak (B < 20) varyans azaltma faydasını azaltır; genellikle B = 100-500 civarında azalan getiriler görülür.
- Temel öğrenicileri rastgele bootstrap örnekleri yerine örtüşen alt kümeler (örneğin, ardışık veri bölmeleri) üzerinde eğitmek.
- Bagging'in aşırı uyumu ortadan kaldırdığını varsaymak; varyansı azaltır ancak yanlı modeller yanlı kalır.
- Çapraz doğrulama (cross-validation) için etkili bir alternatif olan bir yöntemi kaçırarak, çıkarılmamış tahminleri doğrulama için kullanmamak.
Sık sorulan sorular
Kaç adet bootstrap örneği (B) kullanmalıyım?
B = 50-100 ile başlayın ve performansı izleyin; genellikle, faydalar B = 100-500 civarında platoya ulaşır. Varyans azaltma durursa B'yi artırın. Kritik uygulamalar için, hesaplama maliyetine rağmen B > 1000 gerekçelendirilebilir.
Çıkarılmamış hata (out-of-bag error) nedir ve nasıl kullanırım?
Her bootstrap örneği, orijinal verinin yaklaşık 1/3'ünü (ortalama olarak yaklaşık %36,8'ini) hariç tutar. Bu çıkarılmamış örnekler, ayrı bir doğrulama setine ihtiyaç duymadan belirli bir modeli doğrulamak için kullanılabilir. Tüm modellerin çıkarılmamış hatalarının ortalaması genelleme hatasını tahmin eder.
Bagging çapraz doğrulamadan daha mı iyidir?
Farklı amaçlara hizmet ederler. Çapraz doğrulama model performansını tahmin eder; bagging onu iyileştirir. Bir topluluk eğitmek için bagging'i ve doğrulamak için çıkarılmamış tahminleri kullanın, böylece k-katlı çapraz doğrulamanın ek yükünden kaçınılır.
Bagging k-NN gibi düşük varyanslı modelleri iyileştirebilir mi?
Etkili bir şekilde değil. Bagging yüksek varyanslı modeller için tasarlanmıştır. Düşük varyanslı modeller (kararlı, basit) varyans azaltmadan çok az fayda görür. Diğer topluluk yöntemlerini düşünün veya yanlılık azaltmaya odaklanın.
İlgili yöntemler
Kaynaklar
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
DOI kaynağını açKopyalandı.Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.
DOI kaynağını açKopyalandı.