Yarı denetimli Boosting
- Ortaya koyan
- Mallapragada, P. K.; Bennett, K. P.; and others
- Yıl
- 1999–2009
- Tür
- Semi-supervised ensemble method
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli Boosting, klasik boosting algoritmalarını — AdaBoost gibi — hem etiketli hem de etiketsiz verilerden yararlanacak şekilde genişleten bir topluluk öğrenme paradigmasıdır.
Etiketli verilerin kıt olduğu durumlarda, etiketsiz örnekler üzerindeki bir benzerlik yapısı aracılığıyla etiket bilgisini yayarak, yalnızca denetimli boosting'den daha güçlü sınıflandırıcılar eğitir.
Yöntemin mantığı
Klasik boosting, tekrarlı olarak yanlış sınıflandırılmış etiketli örneklere odaklanır. Yarı denetimli boosting yeni bir boyut ekler: yumuşak etiketleri çıkarmak veya örnekleri yeniden ağırlıklandırmak için etiketsiz verilerin geometrik yapısını kullanır. Sezgisel olarak, iki etiketsiz nokta birbirine çok benziyorsa, aynı etiketi almalıdırlar. Bu tutarlılık baskısını boosting ağırlık güncellemelerine dahil ederek, topluluk yalnızca az sayıda etiketli örnek mevcut olsa bile daha iyi genelleme yapabilir. Sonuç, etiketli azınlığa rehberlik ederken etiketsiz çoğunluktan sinyal ödünç alan bir modeldir.
Tarih
Boosting'i etiketsiz verilerle birleştirme fikri 1990'ların sonlarında ortaya çıktı, Bennett ve Demiriz (1999) yarı denetimli topluluk stratejilerini keşfeden ilk kişiler arasındaydı. Mallapragada ve arkadaşları tarafından 2009 tarihli bir IEEE TPAMI makalesinde biçimlendirilen SemiBoost algoritması, grafik tabanlı yarı denetimli boosting için kanonik referans haline geldi. Daha sonraki çalışmalar çerçeveyi çok sınıflı ayarlara genişletti ve onu manifold düzenlileştirme teorisine bağlayarak, yarı denetimli boosting'i yarı denetimli öğrenme literatüründe standart bir temel oluşturdu.
Ne zaman kullanılır?
Yarı denetimli Boosting, etiketli verilerin kıt ve elde edilmesi pahalı olduğu ancak daha büyük bir etiketsiz veri havuzunun hazır bulunduğu durumlarda uygundur — tıbbi görüntü annotasyonu, metin kategorizasyonu ve sensör tabanlı izleme yaygındır. Küme veya manifold varsayımının makul bir şekilde geçerli olduğu (benzer girdiler etiketleri paylaşır) ikili veya çok sınıflı sınıflandırma görevleri için en uygunudur. Etiketsiz veriler test dağılımını temsil etmiyorsa, küme varsayımı makul değilse (örneğin, temelde farklı süreçlerden gelen veriler) veya etiketli küme zaten bir denetimli güçlendiriciyi doyuracak kadar büyükse — bu durumda, düz gradyan boosting çok daha az karmaşıklıkla performansını eşleştirecek veya aşacaktır — bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Etiketsiz veriler etiketli verilerle aynı dağılımdan gelmiyorsa (veri kümesi kayması) performans keskin bir şekilde düşer.
- Sözde etiket gürültüsü, ilk tahminler zayıf olduğunda hata amplifikasyonu ile sonuçlanan boosting turları boyunca birikebilir.
- Benzerlik grafiği oluşturma, hassas olan ve doğrulama gerektiren çekirdek bant genişliği veya komşu sayısı seçimi gerektirir.
- Grafik oluşturma ve her turda sözde etiket yeniden hesaplama nedeniyle hesaplama maliyeti, denetimli boosting'den önemli ölçüde daha yüksektir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketli kümenin tek başına desteklediğinin ötesinde doğruluğu artırmak için bol miktarda etiketsiz veriden yararlanır.
- AdaBoost gibi boosting çerçevelerinin güçlü ampirik performansını ve esnekliğini miras alır.
- Grafik tabanlı benzerlik yapısı, etiket yayılımını yorumlanabilir ve ayarlanabilir hale getirir.
- Örnek ağırlıklarını kabul eden herhangi bir temel öğrenici ile çalışır, çerçeveyi modüler tutar.
- Belge deneylerinde belgelenen düşük etiket oranlı rejimlerde saf denetimli boosting'den tutarlı bir şekilde daha iyi performans gösterir.
Uygulama alanları
- Etiketli veri kümelerinin küçük olduğu ancak büyük etiketsiz veri kümelerinin mevcut olduğu metin ve belge sınıflandırması.
- Sınırlı sayıda uzman tarafından etiketlenmiş görüntülerin büyük etiketsiz arşivlerle birlikte kullanıldığı tıbbi görüntü sınıflandırması.
- Benzerlik kaynağı olarak köprü grafiği yapısından yararlanan web içeriği kategorizasyonu.
- Bol miktarda sensör okuması ancak az sayıda manuel olarak etiketlenmiş arıza olayı olan endüstriyel arıza tespiti.
- Kıt doğrulanmış annotasyonlara sahip protein fonksiyon tahmini gibi biyoinformatik görevleri.
Nasıl çalışır?
Nasıl çalışır?
Temel bir sınıflandırıcı — tipik olarak bir karar kütüğü veya sığ ağaç — veri kümesinin etiketli kısmında eğitilir. Bu, ilk hipotezi sağlar ve boosting çerçevesini kurar. Tüm etiketli örnekler bu ilk turda düzgün ağırlıklar alır.
Bir çiftli benzerlik veya grafik, genellikle bir radyal tabanlı fonksiyon (RBF) çekirdeği veya k-en yakın komşu grafiği kullanılarak, birleştirilmiş etiketli ve etiketsiz veriler üzerinde oluşturulur. Bu, özellik uzayındaki yakın noktaların aynı sınıfa ait olma olasılığı varsayımını kodlar.
Mevcut topluluk modeli ve benzerlik grafiği kullanılarak, etiketsiz örneklere yumuşak sözde etiketler atanır. Güvenle sınıflandırılmış etiketli örneklere yakın noktalar etiketlerini miras alır; karar sınırlarına yakın noktalar düşük güvenli sözde etiketler alır ve güncellemeye daha az katkıda bulunur.
Mevcut zayıf öğrenici, boosting ağırlık dağılımı kullanılarak, genişletilmiş veri kümesi — etiketli örnekler artı sözde etiketlenmiş etiketsiz olanlar — üzerinde uydurulur. Öğrenici ağırlığı alpha_t, tam olarak AdaBoost'ta olduğu gibi ağırlıklı hatadan hesaplanır, ancak ağırlıklı hata artık hem etiketli hem de etiketsiz örneklerin katkılarını yansıtır.
Formül
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)Örnek ağırlıkları, mevcut öğrenici tarafından yanlış sınıflandırılan örneklerin bir sonraki turda daha yüksek ağırlık alması için güncellenir. Etiketsiz örnekler için ağırlık güncellemesi, sözde etiket güvenliği ile modüle edilir: yüksek güvenli sözde etiketler etiketli örnekler gibi yukarı ağırlıklandırılırken, düşük güvenli olanlar gürültü yayılımını sınırlamak için aşağı ağırlıklandırılır.
T boosting turundan sonra, nihai tahmin, tüm zayıf öğrenicilerin ağırlıklı çoğunluk oy pusulasının işaretidir. Topluluk, etiketli denetimden gelen sinyali ve etiketsiz verilerden yayılan yapısal bilgiyi tek, sağlam bir karar sınırında birleştirir.
Formül
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)Sık yapılan hatalar
- Etiketsiz verilerin etiketli örneklerle dağılımsal örtüşmeyi doğrulamadan temsilci olduğunu varsaymak.
- İlk tahminler zayıf olduğunda, modelin yanlış yumuşak atamalara aşırı uyum sağlamasına neden olan gürültülü sözde etiketlerle çok fazla boosting turu kullanmak.
- Grafik hiperparametre ayarlamasını (çekirdek bant genişliği, k-NN için k) göz ardı etmek — zayıf grafik kalitesi tüm yayılım adımını geçersiz kılar.
- Etiketli küme sınıf dengesiz olduğunda, yalnızca doğruluğu raporlamak yerine (F1, AUC gibi) katmanlı metrikler kullanmak.
- Sözde etiketleri başlatmak için kullanılan aynı etiketli havuz üzerinde değerlendirme yaparak, ayrılmış etiketli bir test kümesini atlamak.
Sık sorulan sorular
Yarı denetimli boosting, düz AdaBoost'tan ne zaman daha iyi performans gösterir?
En güvenilir şekilde, etiketli küme çok küçük olduğunda — tipik olarak sınıf başına birkaç yüz örneğin altında — ve etiketsiz veriler bol ve aynı dağılımdan alındığında. Büyük etiketli kümelerle, fark kapanır ve standart denetimli boosting daha basittir ve daha hızlıdır.
Benzerlik grafiğini nasıl oluşturmalıyım?
Etiketli küme üzerinde çapraz doğrulama ile ayarlanmış bant genişliğine sahip bir radyal tabanlı fonksiyon (RBF) çekirdeği en yaygın seçenektir. k-en yakın komşu grafikleri daha basit bir alternatiftir. Anahtar kriter, grafiğin aynı sınıfa ait örnekleri bağlaması ve farklı sınıf kümelerini mümkün olduğunca temiz bir şekilde ayırması gerektiğidir.
Hangi temel öğrenici en iyi şekilde çalışır?
Klasik AdaBoost ile tutarlı olarak karar kütükleri (derinlik-1 ağaçları) standart seçimdir. Karar sınırı karmaşık olduğunda sığ ağaçlar (derinlik 2–4) doğruluğu artırabilir ancak gürültülü sözde etiketlere aşırı güvenme riskini artırır.
Kaç boosting turu gereklidir?
100–200 tur ile başlayın ve etiketli doğrulama hatasını izleyin. Tamamen denetimli boosting'in aksine, çok fazla tur eklemek sözde etiket gürültüsünü artırabilir, bu nedenle küçük bir etiketli doğrulama kümesinde erken durdurma şiddetle tavsiye edilir.
Sınıf dengesizliği bir endişe midir?
Evet. Etiketli havuz sınıf dengesiz olduğunda, ilk tahminler yanlıdır ve sözde etiketler bu yanlılığı etiketsiz kümeye yayacaktır. Bunu azaltmak için eğitimden önce etiketli sınıfları yeniden ağırlıklandırın veya azınlık sınıfını aşırı örnekleyin.
İlgili yöntemler
Kaynaklar
Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.
DOI kaynağını açKopyalandı.Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.
Yayın kaynağını açKopyalandı.