İçeriğe atla
Arama sonuçlarına dön

Yığma (Stacking)

Ortaya koyan
Wolpert, D.H.
Yıl
1992
Tür
Ensemble (heterogeneous meta-learning)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yığma veya yığılmış genelleme (stacked generalization), David Wolpert tarafından 1992 yılında tanıtılan ve birkaç farklı temel modelin (Seviye-0) çıktılarını ayrı bir meta-model (Seviye-1) aracılığıyla birleştiren bir topluluk yöntemidir.

Torbalama (bagging) ve güçlendirmeden (boosting) farklı olarak, kasıtlı olarak heterojen model türleri kullanır ve Kaggle yarışmalarında standart son aşama stratejisidir.

Yöntemin mantığı

Farklı model aileleri farklı türde hatalar yapar: bir ağaç topluluğu, bir destek vektör makinesi ve bir doğrusal modelin her biri veriyi kendi yöntemleriyle yakalar. Yığma, bu modellerin tahminlerini yeni özellikler olarak ele alır ve bunları en iyi şekilde harmanlamayı öğrenmek için bir model daha eğitir, böylece meta-model, her temel modelin en güçlü olduğu yerde ona dayanabilir ve zayıf olduğu yerde onu göz ardı edebilir; bu da genellikle herhangi bir tek modeli geride bırakan birleşik bir tahmin üretir.

Tarih

Yığılmış genelleme, David Wolpert tarafından 1992 yılında, birden fazla genelleştiriciyi daha yüksek seviyeli bir model aracılığıyla birleştirmenin bir yolu olarak tanıtıldı. Bu fikir daha sonra 2007 yılında van der Laan, Polley ve Hubbard tarafından, temel öğrenicilerden oluşan bir kütüphaneyi birleştirmek için çapraz doğrulama kullanan Süper Öğrenici (Super Learner) adı altında resmileştirildi ve güçlü teorik temellere oturtuldu. Yığma, o zamandan beri heterojen modellerin topluluklarının rutin olarak liderlik tablolarının zirvesinde yer aldığı makine öğrenimi yarışmalarında standart son aşama stratejisi haline geldi.

Ne zaman kullanılır?

Tahmin doğruluğu öncelik olduğunda ve sürekli, kategorik veya ikili özelliklere sahip kesitsel veriler üzerinde birleştirilecek makul derecede güçlü, çeşitli temel modellere ve en az yaklaşık 100 gözleme sahip olduğunuzda yığma kullanın. Normal dağılımlı veri gerektirmez. Yaklaşık 100 gözlemin altında k-kat çapraz doğrulama yeterince güvenilir Seviye-0 tahmini üretemez ve meta-model aşırı uyum sağlar, bu nedenle rastgele orman veya XGBoost gibi tek bir ayarlanmış model daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • k-kat çapraz doğrulamanın güvenilir Seviye-0 tahminleri üretebilmesi için oldukça büyük bir örneklem (yaklaşık 100+) gerektirir.
  • Temel modeller çeşitli olmak yerine yüksek oranda ilişkili olduğunda kazançlar azalır.
  • Tek bir modele göre daha karmaşık ve hesaplama açısından daha yoğundur ve bir bütün olarak yorumlanması daha zordur.
  • Küçük örneklemlerde temel modellerin çeşitliliği sağlanamaz ve genellikle tek bir model yeterlidir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Farklı hatalar yapan heterojen temel modelleri kullanarak genellikle en yüksek tahmin doğruluğunu elde eder.
  • Esnektir: herhangi bir model ailesi karışımı, üzerinde basit bir meta-model ile temel öğrenici olarak hizmet edebilir.
  • Varsayım gereksinimi azdır; normallik gereksinimi yoktur ve sürekli, kategorik ve ikili özellikleri işler.
  • Kaggle gibi rekabetçi tahmin ortamlarında kanıtlanmış son aşama stratejisidir.

Uygulama alanları

  • Kaggle gibi tahmin modelleme yarışmalarında son aşama topluluk oluşturma.
  • Yüksek doğruluklu sınıflandırma ve tahmin için heterojen modelleri birleştirme.
  • Biyoistatistik ve epidemiyolojide Süper Öğrenici toplulukları.
  • Ekstra doğruluk elde etmenin önemli olduğu durumlarda güçlü ancak çeşitli modelleri harmanlama.

Nasıl çalışır?

Nasıl çalışır?

1

Veriler üzerinde çeşitli bir temel öğrenici kümesi (Seviye-0) eğitilir; örneğin bir rastgele orman, bir gradyan artırma modeli ve bir SVM. Bu modeller ne kadar çeşitli ve karşılıklı olarak bağımsız olursa, yığma o kadar fazla kazanç sağlayabilir; temel modeller birbirleriyle yüksek oranda ilişkili olduğunda, yığmanın faydası azalır.

2

Seviye-0 tahminleri, temel modellerin eğitildiği aynı veriler üzerinde değil, k-kat çapraz doğrulama (k-fold cross-validation) yoluyla üretilir. Bu kat dışı (out-of-fold) şema, veri sızıntısını önlemek için esastır: her gözlemin meta-özellikleri, eğitim sırasında onu görmeyen modellerden gelir.

3

Nihai tahmini üretmek için çapraz doğrulanmış temel model çıktıları üzerinde bir meta-model (Seviye-1) eğitilir. Meta-öğrenici genellikle basit tutulur (lojistik regresyon, ridge regresyon veya küçük bir XGBoost), böylece temel modelleri birleştirmek için makul ağırlıklar öğrenir ve kendisi aşırı uyum sağlamaz.

Formül
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Sık yapılan hatalar

  • Temel modellerin eğitildiği aynı veriler üzerinde Seviye-0 tahminleri üretmek, meta-modele veri sızıntısına neden olur.
  • Çok sayıda yüksek oranda ilişkili temel modeli yığmak ve büyük bir kazanç beklemek.
  • Basit bir regresör yerine, temel model çıktılarına aşırı uyum sağlayan aşırı karmaşık bir meta-model kullanmak.
  • Temel model çeşitliliğinin ve güvenilir çapraz doğrulamanın imkansız olduğu küçük bir veri kümesine yığma uygulamak.

Sık sorulan sorular

Yığma, torbalama ve güçlendirmeden nasıl farklıdır?

Torbalama ve güçlendirme aynı türden birçok model oluştururken, yığma kasıtlı olarak heterojen model ailelerini birleştirir ve bunları ayrı bir meta-model ile nasıl harmanlayacağını öğrenir. Yığmanın avantajı bu çeşitlilikten gelir.

Meta-özellikleri oluşturmak için neden çapraz doğrulama kullanılmalı?

Meta-model, temel modellerin kendi eğitim verileri üzerinde yaptığı tahminler üzerinde eğitilirse, bilgi sızar ve yığma aşırı uyum sağlar. k-kat çapraz doğrulama yoluyla kat dışı Seviye-0 tahminleri üretmek, meta-modele dürüst girdiler sağlar.

Meta-model ne olmalı?

Basit tutun; lojistik regresyon, ridge regresyon veya küçük bir XGBoost. Basit bir meta-öğrenici, temel model çıktılarına aşırı uyum sağlamadan makul harmanlama ağırlıkları öğrenir.

Ne zaman yığma kullanmamalıyım?

Yaklaşık 100'den az gözleminiz olduğunda, çapraz doğrulama yeterince güvenilir Seviye-0 tahmini üretemez ve temel model çeşitliliğini elde etmek zordur, bu nedenle tek bir ayarlanmış rastgele orman veya XGBoost daha güvenli bir seçimdir.

İlgili yöntemler

Kaynaklar

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    DOI kaynağını aç
    Kopyalandı.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    DOI kaynağını aç
    Kopyalandı.