İçeriğe atla
Arama sonuçlarına dön

Yarı denetimli Gradyan Artırma (Semi-supervised Gradient Boosting)

Ortaya koyan
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Yıl
2006–2010s
Tür
Semi-supervised ensemble (self-training + gradient boosted trees)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı denetimli gradyan artırma, büyük etiketlenmemiş veri havuzlarından, az sayıda etiketlenmiş veriyle birlikte yararlanmak üzere, kendi kendine öğrenme (self-training) veya sözde etiketleme (pseudo-labeling) ile gradyan artırmalı ağaçları birleştirir.

Etiketlenmiş veriler üzerinde yapılan ilk bir Gradyan Artırma Makinesi (GBM) uyumu, etiketlenmemiş örneklere güvenilir tahminler atar; bu sözde etiketlenmiş noktalar eğitime geri katılır ve model yakınsama sağlanana kadar yeniden artırılır. Bu, etiketlerin kıt veya pahalı olduğu durumlarda uygulayıcıların ucuz etiketlenmemiş verilerden yararlanmasını sağlar.

Yöntemin mantığı

Diyelim ki 200 etiketlenmiş anket yanıtınız ve 10.000 etiketlenmemiş yanıtınız var. Yalnızca 200 etiketlenmiş örnek üzerinde eğitilmiş bir gradyan artırma modeli zaten oldukça iyidir. Yarı denetimli gradyan artırma, bu modeli emin olduğu etiketlenmemiş yanıtları sınıflandırmak, geçici olarak etiketlemek ve ardından çok daha büyük birleştirilmiş küme üzerinde yeniden eğitmek için kullanır. Döngü tekrarlanır: her turda model, daha fazla örnek gördüğü için iyileşir ve daha iyi tahminler bir sonraki tur için daha yüksek kaliteli sözde etiketlere dönüşür. Etiketlenmemiş çoğunluk, etkili bir şekilde ücretsiz bir düzenlileştirici (regularizer) ve veri artırma (data augmentation) aracı görevi görür.

Tarih

Yarı denetimli öğrenme, Chapelle, Scholkopf ve Zien'in 2006 MIT Press kitabında sistematikleştirilmiştir. Kendi kendine öğrenme / sözde etiketleme varyantı, NLP'de Yarowsky (1995) tarafından izlenmiş ve daha sonra Lee (2013) tarafından derin ağlar bağlamında biçimlendirilmiştir, ancak aynı prensip doğrudan gradyan artırmalı ağaçlara uygulanır. CatBoost (Prokhorenkova ve diğerleri, 2018), yerleşik yarı denetimli uzantılar tanıtmıştır; sonraki çalışmalar, 2010'lar ve 2020'ler boyunca biyomedikal ve endüstriyel ortamlarda GBM'ler için özel olarak sözde etiketleme programlarını ve güven kalibrasyonunu araştırmıştır.

Ne zaman kullanılır?

Etiketlenmiş verilerin kıt olduğu (örneğin, birkaç yüzden az örnek) ancak aynı dağılımdan büyük miktarda etiketlenmemiş verinin mevcut olduğu ve ek etiket toplamanın maliyetli olduğu durumlarda yarı denetimli gradyan artırmayı kullanın. Gradyan artırmalı bir modelin yalnızca etiketlenmiş küme üzerinde zaten iyi performans gösterdiği tablo sınıflandırma ve regresyon görevleri için uygundur. Şu durumlarda kaçının: etiketlenmiş ve etiketlenmemiş veriler farklı dağılımlardan geliyorsa (dağılım kayması hatayı büyütecektir); temel modelin etiketlenmiş verilerdeki doğruluğu çok düşükse (kötü sözde etiketler yeniden eğitime zarar verir); veya etiketlenmiş küme zaten standart bir GBM'yi doyuracak kadar büyükse, bu durumda yarı denetimli ek yük ihmal edilebilir fayda sağlar.

Sınırlar ve dikkat edilmesi gerekenler

  • Sözde etiket kalitesi temel modele bağlıdır; zayıf bir başlangıç modeli sonraki yinelemeleri bozabilir.
  • Etiketlenmiş ve etiketlenmemiş verilerin aynı dağılımdan çekildiği varsayılır — bu varsayımın ihlali hata büyümesine neden olur.
  • Güven eşiği (tau) ayarlaması, prensipli bir varsayılanı olmayan bir hiperparametre ekler.
  • Hesaplama maliyeti, özellikle büyük etiketlenmemiş havuzlarda, her kendi kendine öğrenme yinelemesiyle artar.
  • Doğrulama yalnızca etiketlenmiş veriler üzerinde yapılmalıdır; artırılmış küme üzerindeki standart çapraz doğrulama tahminleri şişirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketler pahalı veya kıt olduğunda performansı iyileştirmek için ucuz etiketlenmemiş verilerden yararlanır.
  • Mimari değişiklikler olmaksızın herhangi bir gradyan artırma uygulamasıyla (XGBoost, LightGBM, CatBoost, scikit-learn) uyumludur.
  • Güven eşikleme, sözde etiket gürültüsünü sınırlayan yerleşik bir kalite kapısı sağlar.
  • Gradyan artırmalı ağaçların tam tahmin gücünü ve özellik etkileşimi modellemesini korur.
  • Yinelemeli iyileştirme, model geliştikçe etiketlenmemiş verilerin aşamalı olarak dahil edilmesini sağlar.

Uygulama alanları

  • Etiketlenmiş hasta kayıtlarının sınırlı olduğu ancak etiketlenmemiş klinik notların bol olduğu tıbbi teşhis.
  • Az sayıda etiketlenmiş hata örneği ve büyük bir etiketlenmemiş üretim akışı kullanan endüstriyel kusur tespiti.
  • Etiketlenmiş tohum örneklerinin etiketlenmemiş veri kümeleriyle zenginleştirildiği metin sınıflandırma ve duygu analizi.
  • Yalnızca geçmiş başvuruların doğrulanmış temerrüt sonuçlarına sahip olduğu bir kesir olduğunda kredi puanlaması.
  • Büyük etiketlenmemiş uydu görüntüleri özellikleriyle az sayıda etiketlenmiş saha ölçümünü birleştiren uzaktan algılama ve coğrafi sınıflandırma.

Nasıl çalışır?

Nasıl çalışır?

1

Standart bir gradyan artırma modeli (XGBoost, LightGBM, CatBoost, scikit-learn GBM vb.), mevcut etiketlenmiş örnekler üzerinde standart denetimli kayıp minimizasyonu kullanılarak eğitilir. Sözde etiketlemenin zarar vermek yerine yardımcı olması için bu temel modelin en azından orta derecede doğru olması gerekir.

2

Temel model, her etiketlenmemiş örneğe uygulanır. Bir güven eşiği tau'yu (örneğin, sınıflandırma için 0.9'un üzerindeki tahmin olasılığı veya regresyon için dar bir aralıktaki tahminler) aşan tahminler, sözde etiketler olarak kabul edilir. Yüksek güvenli filtreleme, erken turlarda hata yayılmasını sınırlar.

Formül
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Kabul edilen sözde etiketlenmiş örnekler, belirsiz kökenlerini yansıtmak üzere isteğe bağlı olarak 1.0'ın altında ağırlıklandırılarak etiketlenmiş eğitim kümesine eklenir. Birleştirilmiş veri kümesi artık önemli ölçüde daha büyüktür ve özellik uzayını daha iyi kapsayabilir.

4

Yeni bir gradyan artırma modeli, artırılmış veri kümesi üzerinde sıfırdan (veya sıcak başlatılarak) eğitilir. Gradyan artırma doğası gereği sıralı ve etiket gürültüsüne duyarlı olduğundan, gürültülü sözde etiketlerin neden olduğu bozulmayı tespit etmek için tutulan etiketlenmiş küme üzerindeki doğrulama kaybını izlemek esastır.

5

Adım 2'den 4'e kadar olan adımlar, sabit sayıda tur için veya doğrulama metriğinde ihmal edilebilir değişiklik veya güven eşiğini geçen yeni etiketlenmemiş örneğin olmaması olarak tanımlanan yakınsama sağlanana kadar tekrarlanır. Her turda, daha fazla sözde etiketlenmiş veriyi dahil etmek için güven eşiği kademeli olarak gevşetilebilir.

Sık yapılan hatalar

  • Performans tahminini iyimser bir şekilde şişiren doğrulama katına sözde etiketlenmiş veriler kullanmak.
  • Erken turlarda güven eşiğini çok düşük ayarlayarak, yeniden eğitimi gürültülü etiketlerle doldurmak ve negatif transfer neden olmak.
  • Etiketlenmiş ve etiketlenmemiş veriler arasındaki dağılım kaymasını göz ardı etmek, bu da performansı denetimli tabanın altına düşürebilir.
  • Sözde etiketlenmiş örneklere 1.0'ın altında ağırlık vermemek, belirsiz tahminlere insan tarafından doğrulanmış etiketlerle eşit statü vermek.
  • Yakınsama yerine tek bir sözde etiketleme turunda durmak.

Sık sorulan sorular

Güven eşiğini nasıl seçerim?

Muhafazakar başlayın — ikili sınıflandırma için, 1. turda 0.9'un üzerindeki değerler yaygındır. Her turdan sonra etiketlenmiş küme doğrulama doğruluğunu izleyin ve yalnızca performans korunursa veya iyileşirse güven eşiğini kademeli olarak gevşetin. Tek bir prensipli değer yoktur; bunu ayarlanabilir bir hiperparametre olarak ele alın.

Sözde etiketlenmiş örnekler etiketlenmiş olanlarla eşit ağırlıklandırılmalı mı?

Genellikle hayır. Sözde etiketlenmiş örneklere 1.0'dan az bir ağırlık (örneğin, 0.5) atamak, belirsiz tahminlerin kayıp fonksiyonu üzerindeki etkisini azaltır. Bazı uygulamalar, ağırlığı modelin tahmin edilen güvenine bağlar ve daha yüksek güvenli sözde etiketlere daha yüksek ağırlık verir.

Yarı denetimli gradyan artırma performansa ne zaman zarar verir?

İlk modelin güvenilir sözde etiketler üretemeyecek kadar zayıf olduğu, etiketlenmiş ve etiketlenmemiş verilerin dağılımının farklı olduğu veya etiketlenmemiş kümenin etiketlenmiş kümeye göre küçük olduğu durumlarda zarar verir. Bu senaryolarda, yalnızca etiketlenmiş veriler üzerindeki standart bir denetimli GBM genellikle daha güvenlidir.

Bu, CatBoost'un yerleşik yarı denetimli modundan farklı mı?

CatBoost, tek bir eğitim çalıştırması içinde etiketlenmiş veriler üzerindeki denetimli bir kaybı ve etiketlenmemiş veriler üzerindeki denetimsiz veya sözde etiket kaybını ortaklaşa optimize ederek yarı denetimli eğitimi yerel olarak uygular, bu da yinelemeli harici sözde etiketlemeden daha kararlı olabilir. Manuel kendi kendine öğrenme döngüleri daha geneldir ve herhangi bir GBM kütüphanesiyle çalışır.

Kaç tur sözde etiketleme gereklidir?

Genellikle 3 ila 10 tur yeterlidir; etiketlenmiş küme doğrulama metriği iyileşmeyi durdurduğunda veya yeni kabul edilen sözde etiketlerin sayısı sıfıra yaklaştığında yakınsama tespit edilir. Daha fazla tur, sözde etiket hatalarını birleştirme riskini taşır.

İlgili yöntemler

Kaynaklar

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Yayın kaynağını aç
    Kopyalandı.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Kopyalandı.