İçeriğe atla
Arama sonuçlarına dön

Yığılmış Genelleme

Ortaya koyan
David Wolpert
Yıl
1992
Tür
meta-learning aggregation
Aile
Ensemble

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yığılmış genelleme veya yığma (stacking), taban-düzey sınıflandırıcıların orijinal veri üzerinde eğitildiği ve bir meta-öğrenicinin taban sınıflandırıcıların tahminleri üzerinde eğitildiği iki düzeyli bir topluluk yöntemidir.

Meta-öğrenici, sabit toplama kuralları kullanmak yerine taban tahminlerini en iyi nasıl birleştireceğini öğrenir. David Wolpert tarafından 1992'de tanıtılan yığma, taban modeller arasındaki optimal ağırlıklandırma ve etkileşim örüntülerini otomatik olarak öğrenerek en gelişmiş performansı elde eder.

Yöntemin mantığı

Yığma, basit oylamanın temel bir sınırlamasına çözüm getirir: tüm taban sınıflandırıcılar eşit derecede doğru değildir ve sabit kurallar bunu göz ardı eder. Çoğunluk oylaması veya basit ortalama alma yerine, yığma, yüksek performanslı taban sınıflandırıcılara daha fazla güvenmeyi ve güvenilmez olanları reddetmeyi öğrenen ikinci düzey bir model eğitir. Meta-öğrenici, taban tahminlerindeki örüntüleri görür ve bunları ne zaman birleştireceğini öğrenir. Bunu, farklı durumlarda hangi uzmana inanacağını tanıması için bir karar vericiye öğretmek gibi düşünebilirsiniz.

Tarih

Yığma, David Wolpert tarafından 1992'de biçimlendirilmiş ve regresyon için Breiman (1996) tarafından genişletilmiştir. Makine öğrenmesi yarışmaları (Kaggle, Netflix Prize) etkinliğini gösterene kadar nispeten niş kaldı. Süper-öğrenici (Van der Laan & Polley, 2007) ve harmanlama gibi modern varyantlar yaklaşımı daha da geliştirmiştir. Yığma, özellikle rekabetçi makine öğrenmesinde, topluluk öğrenmesinde artık standart bir tekniktir.

Ne zaman kullanılır?

Çeşitli taban sınıflandırıcılarınızın orta düzeyde bireysel doğruluğa sahip olduğu ve bunların birleşimini optimize etmek istediğinizde yığmayı kullanın. Özellikle taban modellerin farklı güçlü ve zayıf yönleri olduğunda (örneğin, karar ağaçları, sinir ağları, SVM'ler) etkilidir. Taban sınıflandırıcılar yüksek derecede ilişkiliyse veya hesaplama maliyeti kritikse, yığma ek bir meta-model eğitmeyi gerektirdiğinden kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Aşırı uyumu önlemek için dikkatli tasarım gerektirir: meta-öğrenici, düzgün doğrulanmazsa taban tahminlerini ezberleyebilir.
  • Artan hesaplama maliyeti: sadece K model yerine K+1 model eğitmek.
  • Meta-öğrenici seçimi genellikle probleme özgüdür; evrensel olarak en iyi seçim yoktur.
  • Yorumlanabilirlik karmaşıklık arttıkça azalır - nihai karar verme mantığını anlamak zordur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Optimal toplama ağırlıklarını otomatik olarak öğrenir, sabit oylama kurallarını geride bırakır.
  • Bireysel taban sınıflandırıcıların güçlü ve zayıf yönlerine uyum sağlar.
  • Heterojen taban öğrenicileri (farklı algoritmalar, hiperparametreler) işler.
  • Makine öğrenmesi yarışmalarında sıklıkla en gelişmiş performansı elde eder.

Uygulama alanları

  • Tıbbi görüntü analizi: X-ışınları ve MRG'lerden hastalık teşhisi için CNN'ler, rastgele ormanlar ve gradyan artırma yığma.
  • Finansal tahmin: hisse senedi fiyatlarını veya kredi riskini tahmin etmek için ARIMA, sinir ağları ve SVM tahminlerini birleştirme.
  • Doğal dil işleme: metin sınıflandırması ve duygu analizi için BERT, GPT ve el yapımı özellik sınıflandırıcılarını yığma.
  • Kaggle yarışmaları: kazanan çözümler sıklıkla 50'den fazla taban modelin birden fazla meta-öğrenici ile sofistike yığmasını kullanır.
  • Öneri sistemleri: kullanıcı tercihlerini tahmin etmek için işbirlikçi filtreleme, içerik tabanlı ve sinir modellerini yığma.

Nasıl çalışır?

Nasıl çalışır?

1

Orijinal eğitim verileri üzerinde farklı algoritmalar veya veri örnekleri kullanarak K adet çeşitli taban sınıflandırıcı (düzey-0 modelleri) eğitin.

2

Her bir taban sınıflandırıcısından tahminleri toplayarak meta-özellikler oluşturun. Bu tahminler, meta-öğrenici için yeni bir eğitim veri kümesi oluşturur.

3

Optimal birleştirme ağırlıklarını öğrenmek için meta-özellikler üzerinde bir meta-öğrenici (düzey-1 modeli, tipik olarak lojistik regresyon gibi basit bir model) eğitin.

4

Yeni bir örneği tahmin etmek için: önce tüm taban sınıflandırıcılardan geçirin, tahminlerini meta-özellikler olarak toplayın, ardından nihai tahmini üretmek için meta-öğreniciden geçirin.

Sık yapılan hatalar

  • Meta-öğreniciyi, taban sınıflandırıcıların eğitildiği aynı veriler üzerindeki tahminlerle eğitmek (bilgi sızması). K-katlı çapraz doğrulama veya tutma doğrulama seti kullanın.
  • Çok az sayıda taban tahminine kıyasla çok karmaşık bir meta-öğrenici seçmek (örneğin, yalnızca 3 taban tahminli rastgele orman meta-öğrenicisi).
  • Yeterince çeşitli taban sınıflandırıcıların olmasını sağlamayı ihmal etmek - yığma, azaltmak yerine korelasyonu güçlendirir.
  • Meta-öğrenicinin hiperparametrelerini aşırı ayarlamak, bu da doğrulama meta-özelliklerine aşırı uyuma yol açabilir.

Sık sorulan sorular

Yığmada aşırı uyumu nasıl önlerim?

Meta-özellikler oluşturmak için k-katlı çapraz doğrulama kullanın: her katın test tahminleri meta-eğitim verisi haline gelir. Bu, meta-öğrenicinin taban sınıflandırıcıların eğitildiği veriler üzerindeki tahminleri görmesini engeller. Nihai değerlendirme için her zaman ayrı bir tutma doğrulama seti kullanın.

Meta-öğrenici olarak hangi modeli kullanmalıyım?

Basit modeller genellikle en iyi sonucu verir: lojistik regresyon, lineer regresyon veya küçük bir karar ağacı. Karmaşık meta-öğreniciler (rastgele ormanlar, sinir ağları) meta-özelliklere aşırı uyum riski taşır. Basit başlayın ve doğrulama performansı durağanlaşırsa karmaşıklık ekleyin.

Taban sınıflandırıcılar aynı veri üzerinde eğitilmeli mi?

Hayır. Farklı veri örnekleri (bagging) üzerinde eğitilmiş veya farklı algoritmalarla eğitilmiş çeşitli taban sınıflandırıcılar, meta-öğrenici genellemesini iyileştirir. Aynı taban sınıflandırıcılar aynı tahminleri üretir, meta-öğreniciye faydalı bir bilgi sağlamaz.

Yığmayı regresyon ve sınıflandırma ile kullanabilir miyim?

Evet. Regresyon için meta-öğrenici, taban regresör çıktılarından sürekli değerler tahmin eder. Sınıflandırma için, taban sınıflandırıcı olasılık puanlarından sınıfları tahmin eder. Prensip aynıdır.

İlgili yöntemler

Kaynaklar

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    DOI kaynağını aç
    Kopyalandı.
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    DOI kaynağını aç
    Kopyalandı.