Gradyan Artırma
- Ortaya koyan
- Friedman, J. H.
- Yıl
- 2001
- Tür
- Ensemble (sequential boosting of decision trees)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Gradyan Artırma, 2001 yılında Jerome H. Friedman tarafından biçimlendirilen bir topluluk öğrenme yöntemidir; bu yöntem, zayıf öğrenicilerin bir dizisini – tipik olarak sığ karar ağaçları – birleştirir, böylece her yeni ağaç kendisinden önceki ağaçların artık hatalarını en aza indirecek şekilde uydurulur.
XGBoost, LightGBM ve CatBoost gibi popüler uygulamaların arkasındaki temel algoritmadır.
Yöntemin mantığı
Tek seferde tek bir güçlü model oluşturmak yerine, Gradyan Artırma art arda birçok küçük ağaç oluşturur; burada her yeni ağaç, mevcut topluluğun hala yaptığı hatalara odaklanır. Tahmini, kalan hatayı en çok azaltan yöne tekrarlı olarak iterek, bir dizi zayıf öğrenici, oldukça doğru bir tahminci oluşturur.
Tarih
Gradyan Artırma, 2001 tarihli 'Greedy Function Approximation: A Gradient Boosting Machine' makalesinde Jerome H. Friedman tarafından biçimlendirilmiştir; bu makale, artırmayı fonksiyon uzayında gradyan inişi olarak çerçevelemiştir. Mevcut topluluğun artıklarını uyduran zayıf öğreniciler ekleme fikri – pratikteki en başarılı tablo verisi algoritmaları için temel oluşturdu, bunlar arasında XGBoost, LightGBM ve CatBoost bulunmaktadır.
Ne zaman kullanılır?
En az yaklaşık 100 gözlemle, sürekli, kategorik, ikili ve sıralı özellikler arasında, kesitsel veya panel tablo verilerinde doğru sınıflandırma ve tahmin için güçlü bir seçimdir. Özellik ölçeklendirme genellikle gerekli değildir, ancak ağaç sayısı, öğrenme oranı ve maksimum derinlik gibi hiperparametre ayarı kritiktir ve aşırı uyumdan korunmak için erken durdurma önerilir. Yaklaşık 100 gözlemden az olduğunda, sıralı ağaçlar gürültüyü ezberlemeye eğilimlidir ve Rastgele Orman veya tek bir karar ağacı daha güvenlidir.
Sınırlar ve dikkat edilmesi gerekenler
- Ağaç sayısı, öğrenme oranı ve maksimum derinlik gibi hiperparametre ayarı kritiktir ve zaman alıcıdır.
- Sıralı artırma, düzenlenmezse aşırı uyuma eğilimlidir, bu nedenle erken durdurma önerilir.
- Küçük örneklerde (n yaklaşık 100'ün altında) sıralı ağaçlar gürültüyü ezberler ve erken durdurma bile yetersizdir.
- Çok az veriyle, hiperparametreleri güvenilir bir şekilde optimize etmek için yeterli çapraz doğrulama materyali yoktur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Tablo verilerinde hem sınıflandırma hem de tahmin için çok yüksek tahmin doğruluğu.
- Özellik ölçeklendirme genellikle gereksizdir ve sürekli, kategorik, ikili ve sıralı özelliklerle başa çıkar.
- XGBoost, LightGBM ve CatBoost gibi yaygın olarak kullanılan kütüphanelerin arkasındaki temel algoritmayı oluşturur.
- Erken durdurma ve küçük bir öğrenme oranı, yanlılık-varyans ödünleşimi üzerinde ince kontrol sağlar.
Uygulama alanları
- Kesitsel ve panel tablo verilerinde yüksek doğruluklu sınıflandırma ve tahmin.
- Maksimum tahmin performansı öncelik olduğunda risk puanlaması ve sonuç tahmini.
- Manuel ölçeklendirme olmadan karmaşık doğrusal olmayan ilişkileri karışık tip özellikler arasında modelleme.
- XGBoost ve LightGBM gibi üretim gradyan artırma kütüphanelerinin arkasındaki motor olarak hizmet etme.
Nasıl çalışır?
Nasıl çalışır?
Gradyan Artırma, zayıf öğrenicileri – genellikle sığ karar ağaçlarını – bağımsız olarak değil, art arda eğitir. Topluluk basit bir başlangıç tahminiyle başlar ve her sonraki ağaç, mevcut modelin hala yanlış yaptığı şeyleri düzeltmek için eklenir, böylece doğruluk adım adım iyileşir.
Her turda yöntem, mevcut topluluğun artık hatalarına bakar ve bir sonraki ağacı bu artık değerlere (kaybın negatif gradyanı) uydurur. Yeni ağaç küçük bir öğrenme oranı ağırlığıyla eklenir, böylece tahmin dikkatlice güncellenir: F_m(x) = F_{m-1}(x) + nu * h_m(x). Bu sıralı, gradyan güdümlü düzeltme, yönteme adını ve doğruluğunu veren şeydir.
Formül
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)Nihai tahmin, başlangıç tahmini ile yol boyunca biriken tüm küçük ağaç düzeltmelerinin toplamıdır. Ağaçlar kalan hatayı kovalamak için açgözlü bir şekilde eklendiğinden, ağaç sayısı, öğrenme oranı ve ağaç derinliği ayarı – erken durdurma ile birlikte – aşırı uyumu önlemek için kritiktir.
Sık yapılan hatalar
- Aşırı uyum sağlayana kadar artırmanın çok fazla tur çalışmasına izin vererek erken durdurmayı atlamak.
- Her ağacın tahmini nazikçe dürtmek yerine aşırı düzeltmesi için öğrenme oranını çok yüksek ayarlamak.
- Sıralı ağaçların gürültüyü ezberlediği yaklaşık 100 gözlemin altındaki bir örneğe uygulamak.
- n_estimators, learning_rate ve max_depth'i ayarlamak yerine varsayılan hiperparametreleri kabul etmek.
- Genellikle gereksiz olduğu durumlarda, mesafe tabanlı modeller gibi özellik ölçeklendirmesi gerektirdiği düşünmek.
Sık sorulan sorular
Gradyan Artırma, Rastgele Orman'dan nasıl farklıdır?
Rastgele Orman, paralel olarak birçok bağımsız ağaç oluşturur ve bunları ortalar, oysa Gradyan Artırma ağaçları sıralı olarak oluşturur, her biri öncekilerin artık hatalarını düzeltmek için uydurulur. Artırma genellikle daha yüksek doğruluk elde eder ancak aşırı uyuma daha duyarlıdır ve dikkatli ayar gerektirir.
Erken durdurma neden önerilir?
Her yeni ağaç kalan hatayı kovaladığı için, aşırı uzun bir artırma çalıştırması gürültüyü uydurmaya başlar. Erken durdurma, doğrulama performansı iyileşmeyi durdurduğunda eğitimi durdurur, bu da aşırı uyuma karşı ana güvenlik önlemidir.
Özelliklerimi ölçeklendirmem gerekiyor mu?
Ağaç tabanlı gradyan artırma için özellik ölçeklendirme genellikle gerekli değildir, çünkü bölmeler büyüklükten ziyade sıraya bağlıdır. Kritik ayarlar bunun yerine ağaç sayısı, öğrenme oranı ve ağaç derinliğidir.
Ne kadar örnek boyutu gerekiyor?
En az yaklaşık 100 gözlem. Bunun altında, sıralı ağaçlar gürültüyü ezberler ve erken durdurma bile yetersizdir, bu nedenle Rastgele Orman veya tek bir karar ağacı daha güvenli bir seçimdir.
İlgili yöntemler
Kaynaklar
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
DOI kaynağını açKopyalandı.