Yarı denetimli Destek Vektör Makinesi
- Ortaya koyan
- Joachims, T.
- Yıl
- 1999
- Tür
- Semi-supervised classifier
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli Destek Vektör Makinesi (S3VM), büyük miktarda etiketlenmemiş veriyi az sayıda etiketlenmiş eğitim kümesiyle birlikte dahil ederek klasik SVM'yi genişletir.
Bu yöntem, yalnızca etiketlenmiş örnekleri ayırmakla kalmayıp aynı zamanda tam veri dağılımının düşük yoğunluklu bölgelerinden geçen maksimum marjlı bir hiperdüzlem aramaktadır, bu da etiketlenmiş örneklerin kıt olduğu durumlarda daha iyi genelleme sağlamaktadır.
Yöntemin mantığı
Standart bir SVM, bir sınırı yalnızca etiketlenmiş noktalardan öğrenir. S3VM, etiketlenmemiş verilerin veri kümelerinin nerede yoğunlaştığı ve nerede inceldiği hakkında geometrik bilgi taşıdığını gözlemler. Karar sınırının, noktaların etiketli olup olmadığına bakılmaksızın yüksek yoğunluklu bölgelerden kaçınmasını gerektirerek, model yalnızca birkaç etiketlenmiş örnekten çizeceği sınırı keskinleştirmek için etiketlenmemiş çoğunluktan yararlanabilir. Sonuç, yalnızca bilinen etiketlere değil, altta yatan veri yapısına saygı duyan bir marjdır.
Tarih
S3VM'nin temelleri Vapnik tarafından transductive çıkarım üzerine erken çalışmalarında atılmış, ancak yöntem Joachims (1999) tarafından Transductive SVM adı altında metin sınıflandırmasındaki etkinliğini gösterdikten sonra yaygın olarak benimsenmiştir. Chapelle, Scholkopf ve Zien (2006) tarafından yapılan kapsamlı inceleme, S3VM'yi diğer yarı denetimli yaklaşımlarla birlikte pekiştirmiş ve standart referans olmaya devam etmektedir. Sonraki çalışmalar, orijinal yöntemin hesaplama ve yerel optimum zorluklarını ele almak için dışbükey gevşetmeler ve ölçeklenebilir çözücüler tanıtmıştır.
Ne zaman kullanılır?
S3VM, etiketlenmiş verilerin pahalı veya kıt olduğu (örneğin, birkaç yüzden az örnek) ancak bol miktarda etiketlenmemiş verinin mevcut olduğu durumlarda doğru seçimdir — metin sınıflandırma, biyoinformatik veya etiketlemenin maliyetli olduğu herhangi bir alanda yaygın bir senaryodur. Küme varsayımının geçerli olduğu durumlarda en iyi performansı gösterir: sınıflar belirgin kümeler oluşturur ve karar sınırı düşük yoğunluklu bir bölgede yer alır. Etiketlenmiş verilerin zaten bol olduğu durumlarda (standart SVM daha düşük maliyetle eşleşir veya aşar), küme varsayımının ihlal edildiği durumlarda (sınıflar özellik uzayında yoğun bir şekilde örtüşür) veya etiketlenmemiş dağılımın etiketlenmiş dağılımdan kaydığı durumlarda S3VM'den kaçının, bu da sınırı yanlış yöne itebilir.
Sınırlar ve dikkat edilmesi gerekenler
- Sözde etiketler nedeniyle optimizasyon dışbükey değildir, bu da onu başlangıç değerine duyarlı hale getirir ve yerel optimumlara eğilimli kılar.
- Hesaplama maliyeti, etiketlenmemiş örneklerin sayısıyla kötü ölçeklenir — büyük etiketlenmemiş havuzlar pahalı hale gelir.
- Küme varsayımına dayanır; sınıflar iyi ayrılmış kümeler oluşturmazsa, etiketlenmemiş veriler performansı düşürebilir.
- Etiketlenmiş kayıp ağırlığı C ve etiketlenmemiş kayıp ağırlığı C*'nin dikkatli ayarlanmasını gerektirir, bu da model seçimi karmaşıklığını artırır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketlenmiş örnekler kıt olduğunda genellemeyi iyileştirmek için büyük etiketlenmemiş veri kümelerinden etkili bir şekilde yararlanır.
- Standart SVM'lerin maksimum marj garantilerini ve çekirdek esnekliğini miras alır.
- Metin gibi yüksek boyutlu seyrek veriler için uygundur, çünkü etiketlenmemiş derlemeler boldur.
- Doğrusal olmayan sınırlar için prensipli olasılıksal uzantı (Gauss Süreci S3VM) ve çekirdek varyantları mevcuttur.
- Tamamen denetimli alternatiflere kıyasla düşük etiketli veri rejimlerinde rekabetçi doğruluk.
Uygulama alanları
- Az sayıda etiketlenmiş eğitim örneğiyle metin ve belge sınıflandırma.
- Protein fonksiyonu tahmini gibi biyoinformatik görevler, çünkü deneysel etiketleme maliyetlidir.
- Büyük taranmış ancak etiketlenmemiş derlemlerden yararlanarak web sayfası kategorizasyonu.
- Tıbbi görüntü analizi, çünkü uzman etiketlemesi zaman alıcı ve pahalıdır.
- Bol etiketlenmemiş veri ve kıt etiket içeren herhangi bir yüksek boyutlu sınıflandırma problemi.
Nasıl çalışır?
Nasıl çalışır?
Mevcut etiketlenmiş örnekler üzerinde öncelikli bir SVM uyarlanır, bu da öncelikli bir karar sınırı ve marj öğrenir. Bu, sonraki yarı denetimli optimizasyonu denetimli bir çözümle temellendiren bir başlangıç modeli ve ilk tahminler sağlar.
Öncelikli SVM, mevcut sınırın hangi tarafında yer aldıklarına bağlı olarak tüm etiketlenmemiş örneklere geçici sınıf etiketleri (sözde etiketler) atar. Bu sözde etiketler, gerçek sınıfları bilinmese de etiketlenmemiş noktaların marj maksimizasyonuna katılmasına izin verir.
Temel S3VM hedefi, etiketlenmiş örnekler üzerindeki menteşe kaybını ve etiketlenmemiş örnekler üzerindeki sözde menteşe kaybını birleştirerek en aza indirir ve aynı zamanda marjı maksimize eder. Bir dengeleme parametresi C*, etiketlenmemiş noktaların sınırı ne kadar güçlü etkilediğini kontrol eder, etiketlenmemiş verilerdeki yapıyı kullanma ile etiketlenmiş gerçekliği uyarlama arasında bir denge kurar.
Formül
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*Sözde etiketler yanlış olabileceğinden, algoritma yinelenir: güncellenmiş sınır kullanılarak sözde etiketleri yeniden atar ve birleştirilmiş optimizasyonu yeniden çözer. Yanlış atanan etiketlenmemiş örnekleri karşı sınıfa taşıyarak ve yeniden optimize ederek, sınır verideki daha düşük yoğunluklu boşluklara doğru ilerler.
Yakınsama sağlandığında, yeni örnekler öğrenilen doğrusal karar fonksiyonunun işaretine göre sınıflandırılır. Sonuçta elde edilen hiperdüzlem, tam veri dağılımının düşük yoğunluklu bir bölgesine yerleştirilir, bu da aynı küçük etiketlenmiş küme üzerinde eğitilmiş tamamen denetimli bir SVM'den daha iyi genelleme sağlar.
Formül
f(x) = \text{sign}(w^\top x + b)Sık yapılan hatalar
- Etiketlenmemiş verilerin her zaman yardımcı olduğu varsayımı — küme varsayımı ihlal edilirse, S3VM denetimli bir SVM'den daha kötü performans gösterebilir.
- Etiketlenmemiş noktaları aşırı ağırlıklandıran ve sınırı etiketlenmiş sinyalden uzaklaştıran çok büyük bir C* değerini C'ye göre kullanmak.
- Performansın düştüğünü tespit etmeyi imkansız hale getiren, etiketlenmiş bir tutma kümesi üzerinde doğrulamayı ihmal etmek.
- Yöntemin varsayımlarını ihlal eden, etiketlenmiş ve etiketlenmemiş verilerin farklı dağılımlardan geldiği (kovaryant kayma) durumlarda S3VM uygulamak.
Sık sorulan sorular
S3VM standart bir SVM'den nasıl farklıdır?
Standart bir SVM, karar sınırını yerleştirmek için yalnızca etiketlenmiş verileri kullanır. S3VM, sınırın tam veri dağılımının düşük yoğunluklu bölgelerinden geçmesini gerektirerek etiketlenmemiş örnekleri ek olarak dahil eder, bu da etiketlenmiş verilerin kıt olduğu durumlarda genellemeyi iyileştirir.
Küme varsayımı nedir ve neden önemlidir?
Küme varsayımı, karar sınırının düşük veri yoğunluğu bölgesinde yer aldığını, yani sınıfların ayrılabilir kümeler oluşturduğunu belirtir. S3VM, sınırı yoğun bölgelerden uzaklaştırarak bundan yararlanır. Sınıflar yoğun bir şekilde örtüşürse, bu varsayım başarısız olur ve etiketlenmemiş veriler modeli yanıltabilir.
Etiketlenmemiş ağırlık C* nasıl seçilir?
C*, etiketlenmemiş örneklerin marjı ne kadar güçlü etkilediğini kontrol eder. Yaygın bir strateji, C'den çok daha küçük bir C* ile başlamak ve performans düşmeden önce küçük bir etiketlenmiş tutma kümesi üzerinde doğrulama doğruluğunu izlerken onu kademeli olarak artırmaktır.
S3VM doğrusal olmayan sınırları işleyebilir mi?
Evet. Standart SVM'ler gibi, S3VM de verileri örtük olarak daha yüksek boyutlu uzaylara eşleyen çekirdek fonksiyonlarını (RBF, polinom vb.) destekler, burada doğrusal bir sınır orijinal özellik uzayında doğrusal olmayan hale gelir.
Ne zaman kendi kendine öğrenme veya etiket yayılımını S3VM'ye tercih etmeliyim?
Kendi kendine öğrenme uygulaması daha basittir ve büyük etiketlenmemiş havuzlara daha iyi ölçeklenir; hesaplama sınırlıysa onu tercih edin. Etiket yayılımı grafik yapılı veriler üzerinde iyi çalışır. S3VM, maksimum marj garantileri istediğinizde ve küme varsayımının muhtemelen tatmin edildiği durumlarda tercih edilir.
İlgili yöntemler
Kaynaklar
Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.
Yayın kaynağını açKopyalandı.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Kopyalandı.