İçeriğe atla
Arama sonuçlarına dön

Yükseltme

Ortaya koyan
Schapire, R. E.; Freund, Y.
Yıl
1990–1997
Tür
Sequential ensemble (iterative reweighting)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yükseltme, önceki öğrenicilerin yanlış yaptığı örnekler üzerinde tekrarlı olarak odaklanarak, rastgelelikten biraz daha iyi olan birçok basit öğreniciyi tek bir yüksek doğruluklu modele dönüştüren ve ardından tüm öğrenicileri bireysel doğruluklarıyla orantılı ağırlıklarla birleştiren sıralı bir topluluk tekniğidir.

Yöntemin mantığı

Bir sınavı notlandırıp öğrencilere geri verdiğinizi ve revize etmelerini istediğinizi hayal edin: her turda, öğrenciler kaçırdıkları sorular üzerinde ekstra zaman harcarlar. Yükseltme de aynı şekilde çalışır — her zayıf öğrenici eğitildikten sonra, yanlış sınıflandırılan örneklere daha yüksek ağırlıklar verilir, böylece bir sonraki öğrenici zor vakalara odaklanır. Nihai cevap, daha doğru öğrenicilerin daha fazla ağırlık taşıdığı tüm öğrenicilerin ağırlıklı bir oylamasıdır. Bu yinelemeli düzeltme, yükseltmeyi tek bir basit modelden çok daha güçlü yapan şeydir.

Tarih

Yükseltmenin teorik temeli, zayıf öğrenilebilirliğin güçlü öğrenilebilirliği ima ettiğini kanıtlayan Robert Schapire tarafından 1990'da atıldı. Freund ve Schapire daha sonra 1997'de ilk pratik algoritma olan ve hızla makine öğreniminde dönüm noktası haline gelen AdaBoost'u tanıttı. Friedman, 2001'de gradyan yükseltme olarak yaklaşımı genelleştirerek, sıralı topluluk öğrenimini fonksiyon uzayında gradyan inişi olarak çerçeveledi. Bu soy, şu anda tablosal verilerdeki rekabetçi makine öğrenimi kıyaslamalarına hakim olan XGBoost (2016), LightGBM (2017) ve CatBoost (2018)'i üretti.

Ne zaman kullanılır?

Tablosal sınıflandırma veya regresyon görevinde yüksek tahmin doğruluğu gerektiğinde ve makul büyüklükte etiketlenmiş bir veri kümeniz olduğunda (genellikle sınırsız gözlem başına en az 50-100 gözlem) yükseltmeyi kullanın. Karmaşık, doğrusal olmayan ilişkilere sahip yapılandırılmış veriler üzerinde mükemmeldir ve karışık özellik türlerini iyi işler. Somut uygulamalar — sınıflandırma için AdaBoost, regresyon ve sınıflandırma için gradyan yükseltme — olağan seçimlerdir. Veri kalitesi düşük olduğunda veya etiketler gürültülü olduğunda yükseltmeden kaçının, çünkü sıralı yeniden ağırlıklandırma gürültülü etiketleri agresif bir şekilde yükseltir ve aşırı uyuma yol açar. Ayrıca, açık katsayılara sahip basit, yorumlanabilir bir model gerektiğinde (örneğin, düzenleyici veya klinik raporlama için) veya eğitim süresi kısıtlı olduğunda da kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Gürültülü etiketlere ve aykırı değerlere karşı oldukça hassastır: zor örneklerin ağırlıklandırılması yanlış etiketlenmiş noktaları yükseltir.
  • Düzenlileştirme (öğrenme oranı, ağaç derinliği, alt örnekleme) dikkatlice ayarlanmadıkça küçük veri kümelerinde aşırı uyuma eğilimlidir.
  • Sıralı eğitim, rastgele ormanlar gibi torbalama tabanlı yöntemlere göre doğası gereği paralelleştirmeye daha yavaştır.
  • Doğruluk avantajını gerçekleştirmek için dikkatli hiperparametre ayarı (tur sayısı, öğrenme oranı, ağaç derinliği) gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tablosal verilerde son teknoloji doğruluğu elde eder, ayarlandığında genellikle rastgele ormanlardan daha iyi performans gösterir.
  • Yinelemeli yeniden ağırlıklandırma yoluyla zor örneklere otomatik olarak odaklanır, bu da onu uygun kayıp fonksiyonlarıyla dengesiz verilerde etkili kılar.
  • Çeşitli temel öğrenicilerle çalışır; sığ ağaçlar (kısa ağaçlar) yaygın ve etkili bir seçimdir.
  • Gradyan yükseltme uzantıları, regresyon, sıralama ve sınıflandırma için geniş bir kayıp fonksiyonu yelpazesini destekler.
  • Modern uygulamalar (XGBoost, LightGBM, CatBoost) yüksek oranda optimize edilmiştir ve büyük veri kümelerine ölçeklenir.

Uygulama alanları

  • Finans, sağlık ve pazarlamadaki tablosal veriler üzerinde ikili ve çok sınıflı sınıflandırma.
  • Ev fiyatı tahmini veya talep tahmini gibi regresyon görevleri.
  • Bilgi erişiminde tıklama oranı ve sıralama sorunları.
  • Doğruluk nadir olaylarda kritik olduğu dolandırıcılık tespiti ve anomali puanlaması.
  • Keşif analizlerinde özellik seçimi ve değişken önem sıralaması.

Nasıl çalışır?

Nasıl çalışır?

1

Tüm eğitim örnekleri eşit ağırlıkla başlar, bu nedenle her biri ilk zayıf öğreniciyi etkileme olasılığı eşittir. Bu tekdüze başlangıç, ilk turun verinin tarafsız bir görünümü olmasını sağlar.

Formül
w_i^{(1)} = 1/n \; \forall i
2

Zayıf bir öğrenici — genellikle sığ bir karar ağacı (kısa ağaç) — ağırlıklı eğitim hatasını en aza indirmek için uydurulur. Daha yüksek ağırlıklara sahip olan yanlış sınıflandırılan örnekler, öğreniciyi önceki turun hatalarını düzeltmeye doğru çeker.

Formül
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

Her öğrenici, log-olasılık doğruluğuyla orantılı bir katkı katsayısı alır. Düşük ağırlıklı hataya sahip bir öğrenici büyük bir katsayı alır; şansa yakın performans gösteren bir öğrenici sıfıra yakın bir katsayı alır ve topluluğu zar zor etkiler.

Formül
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

Doğru sınıflandırılan örneklerin ağırlıkları azaltılır ve yanlış sınıflandırılan örneklerin ağırlıkları artırılır. Bu yeniden ağırlıklandırma, bir sonraki öğreniciyi topluluğun hala yanlış yaptığı örneklere orantısız bir şekilde odaklanmaya zorlar.

Formül
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

Nihai tahmin, tüm öğrenicilerin çıktılarının ağırlıklı toplamının işaretidir. Her öğrenici katsayısına göre orantılı olarak oy kullanır, böylece topluluk birçok zayıf sınıflandırıcıdan tek bir güçlü sınıflandırıcı üretir.

Formül
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Sık yapılan hatalar

  • Küçük bir veri kümesinde erken durdurma olmadan yüksek öğrenme oranı ve çok sayıda tur ile eğitim, ciddi aşırı uyuma neden olur.
  • Eğitimden önce etiket gürültüsünü göz ardı etmek — yükseltme, gürültülü etiketleri diğer herhangi bir yöntemden daha fazla uyacaktır.
  • Sadece örnek içi eğitim hatasını raporlamak için çapraz doğrulama atlamak.
  • Veri kümesi boyutuna veya sınıf dengesine göre ayarlamadan bir öğreticiden varsayılan hiperparametreleri kullanmak.
  • Açık özellik katsayılarına sahip yorumlanabilir bir modelin hedef olduğu durumlarda yükseltmeyi seçmek.

Sık sorulan sorular

Yükseltme ve torbalama (rastgele orman) arasındaki fark nedir?

Torbalama, bootstrap örneklerinde bağımsız ağaçları paralel olarak eğitir ve tahminlerini ortalar, bu da öncelikle varyansı azaltır. Yükseltme, her biri bir öncekinin hatalarını düzelten ağaçları sıralı olarak eğitir, öncelikle yanlılığı azaltır. Yükseltme genellikle daha yüksek doğruluk elde eder ancak gürültülü verilerde aşırı uyuma daha eğilimlidir.

Hangi yükseltme algoritmasını kullanmalıyım?

AdaBoost, ikili sınıflandırma için iyi bir başlangıç noktasıdır. Çoğu tablosal regresyon veya sınıflandırma görevi için, XGBoost, LightGBM veya CatBoost gibi gradyan yükseltme uygulamaları pratik seçeneklerdir; orijinal AdaBoost'tan daha iyi düzenlileştirme ve ölçeklendirme eklerler.

Yükseltme ile aşırı uyumu nasıl önlerim?

Düşük bir öğrenme oranı (0.01–0.1) ile daha fazla sayıda tur birleştirin ve ayrılmış bir doğrulama kümesi üzerinde erken durdurmayı uygulayın. Ayrıca ağaç derinliğini düzenleyin (tipik olarak max_depth 3–6) ve ağaç başına satır ve sütun alt örneklemesini düşünün.

Yükseltme sınıf dengesizliğini ele alabilir mi?

Evet, gradyan yükseltme çerçeveleri sınıf ağırlıklarını ayarlamanıza veya özel kayıp fonksiyonları kullanmanıza olanak tanır. AdaBoost'un doğal yeniden ağırlıklandırması da yardımcı olur, ancak azınlık sınıfındaki gürültüyü de yükseltebilir, bu nedenle ön işleme (aşırı örnekleme veya az örnekleme) hala faydalı olabilir.

Yükseltme yorumlanabilir mi?

Yükseltme toplulukları, doğrusal modellerin olduğu şekilde doğrudan yorumlanabilir değildir. Ancak, yerleşik özellik önem puanları ve SHAP değerleri gibi sonradan kullanılan araçlar bireysel tahminleri açıklayabilir, bu da onları birçok uygulamalı araştırma bağlamında kabul edilebilir kılar.

İlgili yöntemler

Kaynaklar

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    DOI kaynağını aç
    Kopyalandı.
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    DOI kaynağını aç
    Kopyalandı.