İçeriğe atla
Arama sonuçlarına dön

XGBoost (Aşırı Gradyan Artırma)

Ortaya koyan
Chen, T. & Guestrin, C.
Yıl
2016
Tür
Ensemble (gradient-boosted decision trees)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

XGBoost (Extreme Gradient Boosting), Tianqi Chen ve Carlos Guestrin tarafından 2016'da tanıtılan ölçeklenebilir bir ağaç güçlendirme (tree-boosting) algoritmasıdır.

Önceki ağaçların bıraktığı hataları düzelten karar ağaçlarını birer birer ekleyerek güçlü bir tahmin edici oluşturur ve yarışmalarda yaygın olarak kullanılan güçlü bir tahmin yöntemidir.

Yöntemin mantığı

Birçok bağımsız ağacı büyütüp ortalamasını almak yerine, XGBoost ağaçları sırayla büyütür: her yeni ağaç, mevcut modelin hâlâ yanlış tahmin ettiği örneklere odaklanır. Adım adım, topluluk kalan hatayı azaltır; düzenlileştirme (regularisation) cezası ise bireysel ağaçları basit tutarak birleşik modelin eğitim verilerini ezberlemek yerine genelleme yapmasını sağlar.

Tarih

XGBoost, Tianqi Chen ve Carlos Guestrin tarafından 2016 tarihli 'XGBoost: A Scalable Tree Boosting System' başlıklı ACM SIGKDD makalelerinde tanıtılmıştır. Karar ağaçlarının düzenlileştirilmiş gradyan güçlendirmesini ölçeklenebilir, verimli bir uygulama ile birleştirerek, özellikle veri bilimi yarışmalarında öne çıkan en yaygın kabul gören tahmin algoritmalarından biri haline gelmiştir.

Ne zaman kullanılır?

Özellikleri sürekli, kategorik, ikili veya sayım türünde olan ve en az yaklaşık 100 gözlemi bulunan tablo verilerinde doğru sınıflandırma veya tahmin için XGBoost'u kullanın; öncelik tahmin performansıdır. Normal dağılmış veriler gerektirmez; yeterli veri ve düşünceli özellik mühendisliği ana pratik varsayımlardır. ~100'den az vaka ile gradyan güçlendirme aşırı uyuma eğilimindedir ve daha basit bir model (lojistik regresyon veya tek bir karar ağacı gibi) daha güvenilirdir.

Sınırlar ve dikkat edilmesi gerekenler

  • Yeterli veriye gerek vardır — kabaca 100+ gözlem - aksi takdirde aşırı uyum gösterir ve çapraz doğrulama sonuçları güvenilmez hale gelir.
  • Küçük örneklemlerde, birçok hiperparametreyi ayarlamak için yeterli veri yoktur, bu nedenle daha basit bir model daha iyi genelleme yapar.
  • Birçok hiperparametre ve kara kutu topluluğu, tek bir modele göre kurulumunu ve yorumlanmasını daha zor hale getirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tablo verilerinde güçlü tahmin doğruluğu, bu yüzden yarışmalarda bu kadar yaygındır.
  • Yerleşik düzenlileştirme ağaç karmaşıklığını cezalandırır ve aşırı uyumu kontrol etmeye yardımcı olur.
  • Eksik değerleri tolere eder ve karışık özellik türlerini (sürekli, kategorik, ikili, sayım) işler.
  • İyi ölçeklenir ve özellik mühendisliğinden doğrudan yarar sağlar.

Uygulama alanları

  • Çok sayıda özelliğe sahip tablo verilerinde sınıflandırma ve tahmin.
  • Doğruluğun en önemli olduğu yarışma düzeyinde tahmin modellemesi.
  • Sürekli, kategorik, ikili ve sayım özelliklerine sahip risk puanlaması ve tahmin görevleri.
  • Eksik değerlerin ve mühendisliği yapılmış özelliklerin yaygın olduğu modelleme sorunları.

Nasıl çalışır?

Nasıl çalışır?

1

XGBoost bir gradyan güçlendirme (gradient-boosting) yöntemidir: birçok sığ karar ağacını tek bir toplulukta birleştirir. Ağaçlar art arda eklenir ve her yeni ağaç, modelde zaten bulunan ağaçlardan sonra kalan tahmin hatasını azaltacak şekilde ayarlanır.

2

Model, veriye uyumu ölçen bir kayıp terimi ile ağaç karmaşıklığını cezalandıran bir düzenlileştirme terimini toplayan bir hedefi en aza indirir. Bu açık karmaşıklık cezası, XGBoost'un esnek, doğrusal olmayan ilişkileri hâlâ uyarlarken aşırı uyumu kontrol etmesine yardımcı olan şeydir.

Formül
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

Her güçlendirme turunda mevcut tahmin, yeni ayarlanmış bir ağacın çıktısı eklenerek güncellenir. Her ağaç, tahminleri hedefi en çok azaltan yöne doğru hareket edecek şekilde seçilir, böylece topluluğun doğruluğu turdan tura iyileşir.

Formül
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

Tüm turlardan sonra nihai tahmin, sınıflandırma veya bir hedefi tahmin etmek için kullanılan her ağacın katkılarının toplamıdır. Model eksik değerleri tolere ettiği ve özellik mühendisliğinden yarar sağladığı için, yeterli gözlem mevcut olduğunda tablo verilerinde güçlü performans gösterir.

Sık yapılan hatalar

  • Gradyan güçlendirmenin aşırı uyum gösterdiği ve CV tahminlerinin güvenilir olmadığı küçük örneklemlere (n < 100) uygulamak.
  • Çapraz doğrulama (örneğin, ızgara araması; grid search) yoluyla hiperparametre ayarlamasını atlamak ve varsayılanları kabul etmek.
  • XGBoost eksik değerleri tolere etmesine rağmen, eksik değer işleme ve kategorik kodlamayı kararlaştırmadan bırakmak.
  • Performansı bildirmeden önce uygun bir eğitim/test bölümü veya k-katlı çapraz doğrulama ayarlamamak.

Sık sorulan sorular

XGBoost ne kadar veriye ihtiyaç duyar?

Yaklaşık 100 gözlem makul bir minimumdur. 100'den az vaka ile gradyan güçlendirme aşırı uyuma eğilimindedir ve çapraz doğrulama sonuçları güvenilmez hale gelir, bu nedenle lojistik regresyon veya tek bir karar ağacı gibi daha basit bir model daha güvenilirdir.

XGBoost normal dağılmış veri gerektirir mi?

Hayır. Normalite varsayımı yapmaz ve sürekli, kategorik, ikili ve sayım (count) türü özelliklerle çalışır. Ana pratik gereksinimler, yeterli veriye sahip olmak ve bazı düşünceli özellik mühendisliği yapmaktır.

XGBoost Rastgele Orman'dan (Random Forest) nasıl farklıdır?

Rastgele Orman ağaçları bağımsız olarak büyütür ve varyansı azaltmak için ortalamalarını alır. XGBoost ağaçları sıralı olarak büyütür, her biri öncekilerin hatalarını düzeltir ve dikkatli ayarlama ile daha yüksek doğruluk elde edebilen ağaç karmaşıklığına bir düzenlileştirme cezası ekler.

XGBoost modelini nasıl yorumlarım?

Model birçok ağacın bir topluluğu olduğundan, katkılar genellikle SHAP gibi özellik-atfetme analizi ile, RMSE veya AUC gibi test-kümesi ölçütleri ve çapraz doğrulanmış hiperparametre ayarlaması ile birlikte incelenir.

İlgili yöntemler

Kaynaklar

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    DOI kaynağını aç
    Kopyalandı.