İçeriğe atla
Arama sonuçlarına dön

AdaBoost

Ortaya koyan
Freund, Y. & Schapire, R.E.
Yıl
1997
Tür
Ensemble (sequential boosting of weak learners)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

AdaBoost (Adaptive Boosting), Yoav Freund ve Robert Schapire tarafından 1997'de tanıtılan orijinal toplama (boosting) algoritmasıdır.

Bu algoritma, yanlış sınıflandırdığı gözlemlere daha fazla ağırlık vererek bir dizi basit zayıf öğreniciyi birleştirir. Gradyan toplamanın öncüsü olan bu algoritma, basit, yorumlanabilir ve sınıflandırma için güçlü bir başlangıç noktasıdır.

Yöntemin mantığı

Tek bir sığ ağaç zayıf bir öğrenicidir: rastgele tahminden yalnızca biraz daha iyidir. AdaBoost, bu tür zayıf öğrenicilerden birçokunu art arda eğiterek tek bir güçlü tahminciye dönüştürür. Her öğrenici eğitildikten sonra, yanlış sınıflandırdığı gözlemler daha fazla ağırlık alır, böylece bir sonraki öğrenici diğerlerinin sürekli yanlış yaptığı zor vakalara odaklanır. Nihai tahmin, daha doğru öğrenicilerin daha fazla ağırlığa sahip olduğu ağırlıklı bir oydur.

Tarih

AdaBoost, 1997'de Yoav Freund ve Robert Schapire tarafından toplama (boosting) işlemine uygulanan çevrimiçi öğrenmenin karar teorik bir genellemesi olarak tanıtıldı. İlk pratik toplama algoritmasıydı ve birçok zayıf öğrenicinin güçlü bir hale getirilebileceğini gösterdi; bu çalışma tüm toplama ailesi için temel oluşturdu. Gradyan toplamanın ve XGBoost gibi modern araçların doğrudan öncüsüdür.

Ne zaman kullanılır?

Sürekli, kategorik veya ikili özelliklere ve en az yaklaşık 50 gözleme sahip kesitsel tablo verilerinde sınıflandırma ve tahmin için iyi bir uyum sağlar; burada basit, yorumlanabilir bir toplama başlangıç noktası istersiniz. AdaBoost normal varsayımı yapmaz, ancak gürültülü verilere ve aykırı değerlere duyarlıdır, bu nedenle önce aykırı değerleri tarayın. Küçük ama sıfır olmayan aşırı uyum riskini yönetmek için tahminci sayısını kontrol edin. Küçük örneklemlerde, daha basit lojistik regresyon veya daha sağlam Rastgele Orman daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Üstel kaybı nedeniyle gürültülü verilere ve aykırı değerlere duyarlıdır; aykırı değer taraması gereklidir.
  • Aşırı uyum riski düşüktür ancak sıfır değildir ve tahminci sayısı aracılığıyla kontrol edilmelidir.
  • Küçük örneklemlerde (yaklaşık 50'nin altındaki n) gürültülü gözlemler aşırı ağırlıklandırılır ve her yineleme performansı kötüleştirebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Ayarlanacak az sayıda parametre ile basit ve yorumlanabilir.
  • Derinliği 1 olan zayıf öğrenicileri tek bir güçlü sınıflandırıcıya dönüştürür, sağlam bir hazır başlangıç noktasıdır.
  • Normal varsayımı yapmaz; sürekli, kategorik ve ikili özelliklerle başa çıkar.
  • Gradyan toplamanın öncüsü, net bir uyarlanabilir ağırlıklandırma mekanizmasına sahiptir.

Uygulama alanları

  • Kesitsel tablo verileri üzerinde sınıflandırma başlangıç noktaları.
  • Basit, yorumlanabilir bir toplanmış modelin tercih edildiği tahmin görevleri.
  • Gradyan toplamaya geçmeden önce toplama fikrini öğretmek ve göstermek.
  • Birçok sığ karar kütüğünü tek bir güçlü sınıflandırıcıda birleştirmek.

Nasıl çalışır?

Nasıl çalışır?

1

Her eğitim gözlemi eşit bir ağırlıkla başlar. Bu ağırlıklar, her bir sonraki zayıf öğreniciye o belirli gözlemi doğru yapması gerektiği kadar önem vermesi gerektiğini söyler.

2

Zayıf bir öğrenici — tipik olarak bir karar kütüğü (decision stump), yani derinliği 1 olan bir ağaç — ağırlıklı veriye uydurulur. Çok basit olduğu için, tek başına şanstan biraz daha iyi performans gösterir.

3

Öğrenicinin genel doğruluğu nihai oydaki ağırlığını belirler ve yanlış sınıflandırdığı gözlemlerin ağırlıkları artırılır, böylece bir sonraki öğrenici onlara odaklanır. Bu güncelleme, üstel bir kayıp fonksiyonu tarafından yönlendirilir: yanlış sınıflandırmayı hızla artan bir oranda cezalandırır, bu aynı zamanda AdaBoost'u gürültülü noktalara ve aykırı değerlere duyarlı hale getiren şeydir.

Formül
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

Birçok turdan sonra, zayıf öğreniciler, her biri doğruluğuyla ağırlıklandırılmış olarak, ağırlıklı çoğunluk oyuyla tek bir tahminde birleştirilir. Birçok basit, odaklanmış öğrenicinin bu toplamı tek bir güçlü sınıflandırıcı oluşturur.

Formül
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Sık yapılan hatalar

  • AdaBoost'u önce tarama yapmadan aykırı değerlerle dolu veriler üzerinde çalıştırmak.
  • Tahminci sayısının ayarlanması yerine kontrolsüzce büyümesine izin vermek.
  • Yaklaşık 50 gözlemin altındaki bir örneklemde kullanmak, burada gürültülü noktalar ağırlıklandırmaya hakim olur.
  • Daha sağlam bir toplama olan Rastgele Orman'ın gürültülü verilere daha iyi uyduğu durumlarda AdaBoost'a yönelmek.

Sık sorulan sorular

AdaBoost, Rastgele Orman'dan nasıl farklıdır?

Rastgele Orman paralel olarak birçok bağımsız ağaç oluşturur ve bunları ortalar (bagging); AdaBoost, her biri önceki hatalara odaklanan zayıf öğrenicileri sıralı olarak oluşturur (boosting). Üstel kaybı nedeniyle AdaBoost, gürültüye ve aykırı değerlere daha duyarlıdır, oysa Rastgele Orman daha sağlamdır.

AdaBoost neden aykırı değerlere duyarlıdır?

Yanlış sınıflandırmayı hızla artan bir oranda cezalandıran üstel bir kayıp fonksiyonu kullanır. Sürekli yanlış sınıflandırılan noktalar — genellikle aykırı değerler veya gürültülü gözlemler — ağırlık kazanmaya devam eder, bu da sonraki yinelemelerde baskın olmalarına ve modeli bozmalarına neden olabilir.

Kaç tahminci kullanmalıyım?

Tahminci sayısı (zayıf öğreniciler), AdaBoost'un küçük ama gerçek aşırı uyum riskini kontrol eder. Doğrulama performansı iyileşirken artırın ve durduğunda veya kötüleşmeye başladığında durdurun.

Burada zayıf öğrenici nedir?

Tipik olarak bir karar kütüğü — derinliği 1 olan bir karar ağacı. Tek başına şanstan biraz daha iyidir, ancak AdaBoost, her biri doğruluğuyla ağırlıklandırılmış birçokını tek bir güçlü sınıflandırıcıda birleştirir.

İlgili yöntemler

Kaynaklar

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    DOI kaynağını aç
    Kopyalandı.