İçeriğe atla
Arama sonuçlarına dön

Bagging (Önyükleme Toplama)

Ortaya koyan
Breiman, L.
Yıl
1996
Tür
Ensemble meta-algorithm (variance reduction via bootstrap aggregation)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bagging, Bootstrap Aggregating'in kısaltması olup, Leo Breiman tarafından 1996 yılında tanıtılan bir topluluk meta-algoritmasıdır.

Bu algoritma, eğitim verisinin bağımsız olarak çekilmiş önyükleme örnekleri üzerinde bir temel öğrenicinin birden çok kopyasını eğitir ve tahminlerini birleştirir — regresyon için ortalama alma veya sınıflandırma için çoğunluk oyu ile — böylece herhangi bir tek temel öğreniciden önemli ölçüde daha düşük varyansa sahip nihai bir tahminci üretir.

Yöntemin mantığı

Bir uzmana fikir sorduğunuzu hayal edin: cevabı büyük ölçüde kendi özel deneyimlerine bağlıdır. Şimdi, her biri biraz farklı bir geçmişe sahip yüz uzmana sorduğunuzu ve cevaplarını ortalamasını aldığınızı hayal edin. Bireysel tuhaflıklar birbirini götürür ve grup fikir birliği çok daha güvenilirdir. Bagging, makine öğrenimi modelleri için tam olarak bunu yapar: orijinal veriyi yerine koyarak yeniden örnekleyerek birçok hafifçe farklı eğitim kümesi oluşturur, her küme için bir model eğitir ve tüm tahminleri birleştirir. Her model gerçeğin farklı bir dilimini görür, bu nedenle bireysel hataları genellikle hizalanmaz ve topluluk, herhangi bir tek modele göre çok daha kararlıdır.

Tarih

Leo Breiman, 1996 yılında Machine Learning dergisinde Bagging Predictors adlı makalesini yayınladı. Bu makale, kararsız öğrenicilerin — çıktıları küçük veri pertürbasyonları altında önemli ölçüde değişenlerin — eğitim kümesinin önyükleme kopyaları üzerinde ortalama alınarak stabilize edilebileceği gözleminden yola çıkmıştır. Teorik gerekçe, yanlılık-varyans ayrışmasına dayanır: ortalama alma, yanlılığı değiştirmeden varyansı azaltır. Breiman, bir dizi sınıflandırma ve regresyon kıyaslama testinde tek karar ağaçlarına göre tutarlı doğruluk iyileştirmeleri göstermiştir. Bagging hızla temel bir topluluk tekniği haline geldi ve ağaçları daha da de-korele etmek ve daha da büyük varyans azaltma elde etmek için her bölünmede rastgele özellik alt örneklemesi ekleyen Random Forest'a (Breiman, 2001) doğrudan ilham verdi. Bugün, bagging geniş bir topluluk yöntemleri ailesinin kavramsal omurgası olarak hizmet etmekte ve lisansüstü makine öğrenimi müfredatında standart bir konudur.

Ne zaman kullanılır?

Bagging, temel öğrenme algoritması yüksek varyanslı olduğunda — yani, eğitim verisindeki küçük pertürbasyonlara duyarlı olduğunda — ve bu varyansı azaltmanın ana hata kaynağı olduğu durumlarda uygundur. Tamamen büyütülmüş, budanmamış karar ağaçları kanonik örnektir. Bagging, tablo verileri üzerinde hem sınıflandırma hem de regresyon için uygundur, veri dağılımı hakkında varsayım gerektirmez ve karma özellik türlerini işler. B bağımsız önyükleme örneklerini destekleyecek kadar büyük bir veri kümesi olduğunda (yüzlerce tercih edilse de, en az yaklaşık 30 gözlem pratik bir alt sınırdır) en faydalıdır. Bagging, temel öğrenici zaten kararlı olduğunda (iyi belirtilmiş problemlerde doğrusal regresyon gibi) veya baskın hata kaynağı varyans yerine yanlılık olduğunda faydalı değildir — bu gibi durumlarda yükseltme (boosting) yöntemleri daha uygundur.

Sınırlar ve dikkat edilmesi gerekenler

  • Yanlılığı azaltmaz: eğer temel öğrenici yetersiz uyum sağlarsa, bagging bunu düzeltemez.
  • Topluluk tahminleri, tek bir modele göre yorumlaması daha zordur; tek bir karar ağacının görsel yapısının bir benzeri yoktur.
  • Bellek ve depolama B ile doğrusal olarak ölçeklenir: yüzlerce büyük modeli bellekte tutmak yasaklayıcı olabilir.
  • B büyüdükçe kazançlar hızla azalır; performans genellikle B = 500'den çok önce plato yapar.
  • Kararlı temel öğrenicilerde (örn. doğru spesifikasyona sahip doğrusal regresyon) bagging ihmal edilebilir bir iyileşme sağlar.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yanlılığı artırmadan tahminci varyansını doğrudan azaltır, herhangi bir tek temel modele göre daha kararlı tahminler üretir.
  • Önemsiz derecede paralelleştirilebilir: her önyükleme iterasyonu bağımsızdır, bu da büyük toplulukları hesaplama açısından uygulanabilir kılar.
  • Dahili OOB hata tahmini, ek veri maliyeti olmadan dürüst bir genelleme tahmini sağlar.
  • Modelden bağımsız meta-algoritma: yeterince kararsız herhangi bir temel öğreniciyle (ağaçlar, sinir ağları, en yakın komşular) uyumludur.
  • Eğitim kümesindeki aykırı değerlere karşı sağlamdır: herhangi bir tek sıra dışı gözlem, çoğu önyükleme örneğinde bulunmaz.

Uygulama alanları

  • Tek bir karar ağacının aşırı uyum sağlayacağı gürültülü tablo verileri üzerinde kararlı sınıflandırma ve regresyon modelleri oluşturmak.
  • B temel öğreniciler arasındaki tahminlerin yayılımını inceleyerek tahmin aralıkları oluşturmak.
  • Her özellik topluluk genelinde permüte edildiğinde OOB doğruluğundaki azalma yoluyla özellik önemini tahmin etmek.
  • Topluluk temel çizgisi: daha sofistike bir yöntemin (boosting, stacking) basit bir toplama yöntemine göre ne kadar iyileşme sağladığını nicelendirmek için hızlı bir kıyaslama.

Nasıl çalışır?

Nasıl çalışır?

1

Orijinal n boyutlu eğitim kümesinden B bağımsız önyükleme örnekleri çekilir. Her örnek, orijinal veriden yerine koyarak n gözlem çekilerek oluşturulur, bu nedenle ortalama olarak her örnek benzersiz eğitim örneklerinin yaklaşık %63,2'sini içerir; kalan yaklaşık %36,8'i dışarıda bırakılır ve o iterasyon için torba dışı (OOB) kümesini oluşturur.

Formül
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, B
2

Bir temel öğrenme algoritması — çoğunlukla tam derinliğe kadar büyütülmüş bir karar ağacı, ancak yeterince kararsız herhangi bir öğrenici uygun görülür — her önyükleme örneği üzerinde bağımsız olarak uyarlanır ve B farklı model elde edilir. Temel gereksinim kararsızlıktır: eğer küçük veri pertürbasyonları büyük model değişikliklerine neden oluyorsa, bagging en büyük varyans azalmasını sağlar.

Formül
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)
3

Regresyon görevleri için B model çıktısı ortalaması alınır. Bu ortalama alma adımı, varyans azaltmanın birincil mekanizmasıdır: bağımsızlık varsayımları altında, B özdeş dağılımlı modelin ortalamasının varyansı, tek bir modelin varyansının 1/B'si kadardır ve pozitif korelasyon altında bile azalma önemlidir.

Formül
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})
4

Sınıflandırma görevleri için her temel öğrenici bir sınıf etiketi için bir oy kullanır ve en çok oyu alan sınıf nihai tahmin olarak döndürülür. Beraberlikler keyfi olarak bozulur. Çoğunluk oylaması, her temel öğrenici tarafından üretilen sınıf olasılık tahminlerinin ortalamasını almaya asimptotik olarak eşdeğerdir.

Formül
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]
5

Her temel öğrenici verinin yaklaşık %63,2'si üzerinde eğitildiği için, kalan gözlemler o öğrenici için dürüst bir ayrık test kümesi olarak hizmet edebilir. Her gözlemi görmeyen tüm öğrenicilerdeki bu OOB tahminlerinin ortalaması, ayrı bir doğrulama katmanı veya çapraz doğrulama gerektirmeden genelleme hatasının neredeyse tarafsız bir tahminini verir.

Formül
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)

Sık yapılan hatalar

  • Düşük varyanslı bir temel öğreniciye (ridge regresyon gibi) bagging uygulamak ve büyük doğruluk kazançları beklemek.
  • B'yi çok küçük ayarlamak (örn. B < 10), böylece topluluk hala gürültülü olur ve OOB tahminleri güvenilmez olur.
  • Sınıf dengesizliğini göz ardı etmek: bagging, orijinal verinin sınıf dağılımını her önyükleme örneğinde korur, bu nedenle ciddi dengesizlik tüm öğrenicilerde tekrarlanır.
  • Bagging'i boosting ile karıştırmak: bagging, varyansı azaltmak için modelleri bağımsız örnekler üzerinde paralel olarak eğitirken, boosting yanlılığı azaltmak için modelleri sıralı olarak eğitir — farklı hata kaynaklarını ele alırlar.
  • Veri kümesi çok küçük olduğunda OOB hatasını uygun ayrık değerlendirmenin yerine kullanmak, çünkü OOB tahminleri bu rejimde iyimser olabilir.

Sık sorulan sorular

Kaç tane önyükleme örneği B kullanmalıyım?

Breiman (1996), performansın nispeten hızlı bir şekilde stabilize olduğunu bulmuştur; karar ağaçları için genellikle B = 50 ila 100 yeterlidir. B'yi birkaç yüzün üzerine çıkarmak azalan getiriler sağlar. B büyüdükçe OOB hatasını izleyin ve plato yaptığında durun.

Bagging ve Random Forest arasındaki fark nedir?

Random Forest, her ağacın her bölünmesinde rastgele özellik alt örneklemesi ekleyerek bagging'i genişletir. Bu ek rastgeleleştirme, temel öğrenicileri daha da de-korele eder ve sadece bagging'in başardığının ötesinde varyansı azaltır. Tamamen büyütülmüş ağaçlarla bagging, bu nedenle, her bölünmede tüm özelliklerin dikkate alındığı Random Forest'ın özel bir durumudur.

Bagging, karar ağaçları dışındaki öğrenicilere uygulanabilir mi?

Evet. Kararsız olan — eğitim verileri hafifçe değiştiğinde tahminleri önemli ölçüde değişen — herhangi bir öğrenici bagging'den faydalanabilir. Sinir ağları, k-en yakın komşular ve budanmamış regresyon ağaçları hepsi bu kategoriye girer. İyi belirtilmiş bir modele sahip doğrusal regresyon gibi kararlı öğreniciler, azaltılacak az varyans olduğu için çok az fayda sağlar.

OOB hatası, çapraz doğrulamanın güvenilir bir yerine geçer mi?

Orta ila büyük veri kümeleri için OOB hatası, genelleme hatasının neredeyse tarafsız bir tahminidir ve ek model uyarlamaları gerekmediği için hesaplama açısından ücretsizdir. Çok küçük veri kümelerinde (n yaklaşık 50'nin altında) OOB tahminleri iyimser olabilir ve çapraz doğrulama tercih edilir.

İlgili yöntemler

Kaynaklar

  1. Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.

    DOI kaynağını aç
    Kopyalandı.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.

    ISBN: 978-0-387-84857-0
    Kopyalandı.
  3. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.

    ISBN: 978-1-4614-7138-7
    Kopyalandı.