İçeriğe atla
Arama sonuçlarına dön

Yarı denetimli İstifleme Topluluğu (Semi-supervised Stacking Ensemble)

Ortaya koyan
Combines Wolpert (1992) stacking with semi-supervised learning principles
Yıl
2000s–2010s
Tür
Ensemble (stacked generalization with unlabeled data augmentation)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı denetimli İstifleme Topluluğu, klasik yığılmış genelleştirme çerçevesini, yalnızca eğitim örneklerinin bir kesrinin etiket taşıdığı ayarlar için genişletir.

Temel öğreniciler önce etiketli veriler üzerinde eğitilir, ardından etiketlenmemiş örneklere sahte etiketler atamak için kullanılır; genişletilmiş veri kümesi, iki katmanlı bir topluluk oluşturan ve hem etiketli hem de etiketlenmemiş yapıyı kullanan daha güçlü temel modelleri eğitir.

Yöntemin mantığı

İstifleme, çeşitli temel modellerin tahminleri üzerinde bir meta-öğrenici eğiterek bireysel modelleri zaten geride bırakır. Yarı denetimli istifleme, ek bir numara ekler: büyük etiketlenmemiş örnek havuzunu atmak yerine, mevcut temel modellerini bazı güven eşiğiyle etiketlerini tahmin etmek, o sahte etiketli örnekleri eğitime geri katmak, temel modelleri yeniden eğitmek ve tekrarlamak için kullanır. Her yineleme, temel modellerin öğrenmesi için daha fazla veri sağlar, böylece meta-öğrenici için ürettikleri meta-özellikler, ek insan açıklaması gerektirmeden giderek daha bilgilendirici hale gelir.

Tarih

Yığılmış genelleştirme, 1992'de Wolpert tarafından, öğrenilmiş bir meta-öğrenici aracılığıyla birden fazla modeli birleştirmenin bir yolu olarak biçimlendirilmiştir. Etiketlenmemiş verileri denetimli modelleri iyileştirmek için kullanma — yarı denetimli öğrenme ilkeleri, 2006 MIT Press ciltlerinde Chapelle, Schölkopf ve Zien tarafından pekiştirilmiştir. İkisinin açık bir kombinasyonu olan yarı denetimli istifleme, 2000'ler ve 2010'lar boyunca uygulamalı makine öğrenmesi literatüründe, özellikle rekabetçi makine öğrenmesi ve açıklamanın kıt olduğu alanlarda benimsenmiştir.

Ne zaman kullanılır?

Etiketleme maliyetli olduğu tıbbi görüntüleme, NLP veya uzaktan algılama gibi yaygın bir ayarda, küçük etiketli bir veri kümesi ve büyük bir etiketlenmemiş örnek havuzu ile bir sınıflandırma veya regresyon göreviniz olduğunda yarı denetimli istiflemeyi kullanın. Özellikle etiketlenmemiş veriler etiketli verilerle aynı dağılımdan alındığında ve en az 3–5 çeşitli temel öğrenici ailesi mevcut olduğunda etkilidir. Etiketlenmemiş havuz küçükse (standart istiflemeye göre fayda sağlamıyorsa), etiketli küme zaten yeterince büyükse ve yarı denetimli kazanımlar marjinalse veya etiketli ve etiketlenmemiş örnekler arasındaki dağılım kayması şüpheliyse, sahte etiket hataları yinelemeler boyunca birleşeceği için bundan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Sahte etiket hataları yinelemeler boyunca birikir; ilk temel modeller zayıfsa, hatalı sahte etiketler performansı iyileştirmek yerine düşürebilir.
  • Hiperparametre yüzeyi geniştir: yineleme sayısı, güven eşiği, kat sayısı ve temel öğrenici çeşitliliği hepsi etkileşim halindedir.
  • Hesaplama açısından pahalıdır: birden fazla temel öğrenici üzerinde k-katlı yeniden eğitim, birkaç yineleme boyunca tekrarlanır, bu nedenle çalışma süresi hızla artar.
  • Etiketlenmemiş dağılımın etiketli dağılımla yakından eşleşmesini gerektirir; kovaryant kayması, sahte etiketleme varsayımını geçersiz kılar.
  • Yorumlanabilirlik düşüktür — iki istiflenmiş katman artı yinelemeli sahte etiketleme, herhangi bir bireysel tahminin nasıl oluşturulduğunu izlemeyi zorlaştırır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Ek açıklama maliyeti olmadan büyük etiketlenmemiş veri havuzlarından yararlanır, genellikle yalnızca denetimli istiflemeye göre doğruluğu önemli ölçüde iyileştirir.
  • Klasik istiflemenin tüm faydalarını miras alır: temel öğreniciler arasındaki çeşitlilik, varyansı ve yanlılığı aynı anda azaltır.
  • Esnek: herhangi bir denetimli öğrenici, temel model veya meta-öğrenici olarak hizmet edebilir, bu da çerçeveyi geniş çapta uygulanabilir hale getirir.
  • Güven eşiği, her yinelemede tanıtılan sahte etiketlerin kalitesini kontrol etmek için ilkeli bir mekanizma sağlar.
  • İyi ölçeklenir — etiketlenmemiş veri ucuzdur, bu nedenle yöntemin değerliliği, etiketlenmemiş örneklerin etiketli örneklere oranının artmasıyla artar.

Uygulama alanları

  • Etiketlenmiş taramaların kıt olduğu ancak etiketlenmemiş taramaların bol olduğu tıbbi görüntü sınıflandırması.
  • Büyük etiketlenmemiş veri kümeleri ve küçük etiketli eğitim kümeleri ile doğal dil işleme görevleri (duygu, konu).
  • Bol uydu görüntüleri ve az sayıda gerçek etiket kullanan uzaktan algılama arazi örtüsü sınıflandırması.
  • Onaylanmış dolandırıcılık vakalarının incelenmemiş işlemlere kıyasla nadir olduğu dolandırıcılık tespiti.
  • Sınırlı deneysel olarak doğrulanmış örneklere sahip protein fonksiyon tahmini gibi biyoinformatik görevleri.

Nasıl çalışır?

Nasıl çalışır?

1

Temel öğreniciler (örneğin, gradyan artırılmış ağaçlar, SVM'ler, sinir ağları) etiketli alt küme üzerinde eğitilir. Ardından, her etiketlenmemiş örnek için sınıf olasılıklarını tahmin ederler; en yüksek tahmin edilen olasılığın bir güven eşiğini aştığı örnekler, sahte etiketlerle atanır ve bir sonraki yineleme için çalışma eğitim kümesine eklenir.

2

Çeşitli temel öğreniciler, veri sızıntısını önlemek için k-katlı çapraz doğrulama kullanılarak, gerçek etiketli ve sahte etiketli örneklerin birleştirilmiş kümesi üzerinde (yeniden) eğitilir. Temel modeller arasındaki çeşitlilik — algoritma ailesi, düzenlileştirme gücü veya özellik alt kümeleri — kritiktir; homojen yığınlar ikinci katmandan çok az fayda sağlar.

3

Etiketli örnekler üzerindeki her temel öğreniciden elde edilen katman dışı tahminler, bir meta-özellik matrisine toplanır. Her satır, etiketli bir eğitim örneğine karşılık gelir; her sütun, o örneği görmeyen bir katmanda tahmin edilen bir temel modelin tahminidir, bu da meta-öğrenici için tarafsız bir temsil sağlar.

4

Bir meta-öğrenici (yaygın olarak lojistik regresyon, sığ bir sinir ağı veya başka bir ağaç modeli), gerçek etiketlerle meta-özellik matrisi üzerinde eğitilir. Temel öğrenici çıktılarının nasıl en iyi şekilde birleştirileceğini öğrenir, sistematik yanlılıklarını düzeltir ve tamamlayıcı güçlerinden yararlanır.

5

Adım 1–4, sabit sayıda yineleme için veya sahte etiket kümesi stabilize olana kadar (az sayıda yeni örnek güven eşiğini geçer) tekrarlanır. Her geçişte, daha fazla etiketlenmemiş veriyi dahil etmek için güven eşiği hafifçe gevşetilebilir, ancak dikkat gereklidir: çok düşük bir eşik hatalı sahte etiketleri yayar ve performansı düşürür.

Sık yapılan hatalar

  • İlk yinelemelerde güven eşiğini çok düşük ayarlamak, eğitim kümesini gürültülü sahte etiketlerle doldurarak temel öğrenici kalitesini düşürmek.
  • Yalnızca bir veya iki yüksek oranda ilişkili temel öğrenici kullanmak; çeşitlilik olmadan meta-öğrenici gereksiz sinyaller alır ve yığın tek bir modelden daha iyi performans göstermez.
  • Meta-özellikler üretirken çapraz doğrulama kullanmamak, eğitim doğruluğunu şişiren ve meta-öğrenici eğitimini yanıltan veri sızıntısına neden olmak.
  • Nihai performansı, aşırı iyimser metrikler üreten meta-öğrenici eğitimini yanıltan, sahte etiketli örnekler yerine tutulmuş gerçek etiketli bir test kümesi üzerinde değerlendirmek.
  • Yakınsamayı göz ardı etmek — sahte etiket kümesi stabilize olduktan sonra çok fazla yineleme çalıştırmak, bilgi işlem gücünü boşa harcar ve kendinden emin ama yanlış tahminler üzerinde aşırı uyum riskini taşır.

Sık sorulan sorular

Sahte etiketleme için güven eşiğini nasıl seçerim?

Sınıflandırma için yaygın bir başlangıç noktası 0.9 veya daha yüksektir, bu da yalnızca önde gelen sınıf olasılığının %90'ı aştığı örneklerin bir sahte etiket alması anlamına gelir. Temel modeller geliştikçe sonraki yinelemelerde eşik gevşetilebilir. Çok fazla gürültü getiren eşik değerlerini yakalamak için her zaman doğrulama doğruluğunu yinelemeler boyunca izleyin.

Hangi temel öğrenicileri kullanmalıyım?

Çeşitlilik ana ilkedir. Tipik bir kombinasyon, gradyan artırılmış ağaçları (örneğin, XGBoost), radyal çekirdekli bir SVM ve bir sinir ağını eşleştirir. Yanlılık-varyans profilleri ve yakaladıkları özellik ilişkileri açısından farklılık gösteren modelleri birleştirmek, ikinci katman için en bilgilendirici meta-özellikleri sağlar.

Bu standart istiflemeden nasıl farklıdır?

Standart istifleme, baştan sona yalnızca etiketli verileri kullanır. Yarı denetimli istifleme, yüksek güvenli etiketlenmemiş örneklerle etkili eğitim kümesini yinelemeli olarak genişleten bir sahte etiketleme döngüsü ekler, bu nedenle etiketli verilerin kıt ve etiketlenmemiş verilerin bol olduğu durumlarda en faydalıdır.

Regresyonu sınıflandırma kadar iyi idare edebilir mi?

Evet. Regresyon için, güven eşiği, artık tabanlı bir kritere göre değiştirilir — örneğin, tahmin edilen değeri temel modeller arasında kararlı (düşük varyanslı) olan sahte etiketli örnekleri dahil etmek. Ardından meta-öğrenici, sınıf olasılıkları yerine sürekli çıktıları birleştirir.

Etiket yayılma hataları riski nedir?

İlk temel modeller doğru değilse, kendinden emin tahminleri hala yanlış olabilir ve bu hatalar sonraki yinelemelerde pekiştirilir. Yüksek bir başlangıç güven eşiği kullanmak, yinelemeler boyunca tutulmuş etiketli bir doğrulama kümesini izlemek ve doğrulama performansı iyileşmeyi bıraktığında durmak, ana savunmalardır.

İlgili yöntemler

Kaynaklar

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    DOI kaynağını aç
    Kopyalandı.
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Kopyalandı.