Yarı denetimli Öğrenme
- Ortaya koyan
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Yıl
- 1970s–2006 (formalized)
- Tür
- Learning paradigm
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli öğrenme (SSL), az sayıda etiketlenmiş örnekle birlikte çok daha büyük bir etiketlenmemiş veri havuzunu kullanarak modelleri eğiten bir makine öğrenmesi paradigmasıdır.
Etiketlenmemiş verilerdeki içsel yapıyı kullanarak, SSL tam denetimli modellere yakın bir doğruluk elde ederken çok daha az maliyetli manuel etiket gerektirir; bu da etiketlemenin pahalı, yavaş veya kaynak kısıtlı olduğu durumlarda pratik hale getirir.
Yöntemin mantığı
Bir öğrenciye cevaplarıyla birlikte birkaç ders kitabı örneği ve çözülmemiş problemlerden oluşan büyük bir kütüphane vererek öğretmeyi hayal edin. Öğrenci, kalıpları anlamak için çözülmüş örnekleri kullanır, ardından hangi örneklerin bir araya kümelendiğini veya benzer yapıları paylaştığını gözlemleyerek bu anlayışı geliştirmek için çözülmemiş problemleri kullanır. SSL benzer şekilde çalışır: model, etiketlenmiş verilerden karar sınırlarını öğrenir, ardından komşu noktaların muhtemelen aynı sınıfa ait olduğu veya veri manifoldunun anlamlı bir yapı yakaladığı varsayımıyla bu sınırları keskinleştirmek için etiketlenmemiş verileri kullanır. Sonuç, yalnızca etiketler üzerinde eğitime göre daha iyi performans gösteren bir modeldir.
Tarih
Yarı denetimli öğrenme, 1990'larda Vapnik'in transductive SVM'ler üzerine yaptığı çalışmalardan ve Zhu ve Ghahramani'nin (2002) graf tabanlı etiket yayılımından resmi bir alan olarak ortaya çıktı. Alan, Chapelle, Scholkopf ve Zien (2006) tarafından düzenlenen ve kanonik referans olarak kalan MIT Press cildi ile pekiştirildi. Modern derin öğrenme, MixMatch (2019) ve FixMatch (2020) gibi tutarlılık düzenleme yöntemleriyle SSL'yi yeniden canlandırdı ve paradigmayı büyük ölçekli görüntü ve metin görevlerine genişletti.
Ne zaman kullanılır?
Bol miktarda etiketlenmemiş veriniz olduğunda ancak etiketleme pahalı, yavaş veya nadir uzman bilgisi gerektirdiğinde yarı denetimli öğrenmeyi kullanın - tıbbi görüntüleme, doğal dil işleme ve bilimsel alanlarda yaygındır. SSL, etiketlenmemiş ve etiketlenmiş veriler aynı dağılımdan geldiğinde, küme veya manifold varsayımının makul bir şekilde geçerli olduğu ve tam denetimli bir temel modelin zaten mümkün olduğu ancak doğruluğunun etiket kıtlığı ile sınırlı olduğu durumlarda uygundur. Etiketlenmemiş ve etiketlenmiş veriler farklı dağılımlardan geldiğinde (dağılım kayması); etiketlenmemiş veriler çok az olduğunda; görev, küçük bir etiketlenmiş kümenin model kapasitesini zaten doyurduğu kadar basit olduğunda; veya sözde etiket hatasının modelin düzeltebileceğinden daha hızlı bir şekilde biriktiği durumlarda (yüksek entropili veya dengesiz çıktılarda olduğu gibi) SSL KULLANMAYIN.
Sınırlar ve dikkat edilmesi gerekenler
- Performans, etiketlenmemiş veriler küme veya pürüzsüzlük varsayımını ihlal ederse veya dağılım kayması içeriyorsa, denetimli temel modelin altına düşebilir.
- Sözde etiket hatası yinelemeler boyunca birikir: güvenilir ancak yanlış tahminler sonraki eğitimi bozar.
- Güven eşiklerinin, düzenleme gücünün ve etiketlenmiş ile etiketlenmemiş veri oranının dikkatli bir şekilde ayarlanmasını gerektirir.
- Değerlendirme daha zordur: etiketlenmemiş küme, model seçimi için kesinlikle ayrılmadıkça asla kullanılmamalıdır.
- Hesaplama maliyeti, özellikle ikili benzerlikleri gerektiren graf tabanlı yöntemler için, büyük etiketlenmemiş veri kümeleriyle artar.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketlenmiş verilerin kıt olduğu ancak etiketlenmemiş verilerin bol olduğu durumlarda model doğruluğunu önemli ölçüde iyileştirir.
- Etiketleme maliyetini ve süresini azaltır, uzman etiketlemesi yoğun alanlarda pratik dağıtımı mümkün kılar.
- Sözde etiketleme veya graf tabanlı uzantılar aracılığıyla neredeyse her temel öğreniciyle (sinir ağları, rastgele ormanlar, SVM'ler, GP'ler) uyumludur.
- Etiket yayılımı ve graf tabanlı yöntemler yorumlanabilir belirsizlik ve komşuluk yapısı sağlar.
- Kendi kendine eğitim ve tutarlılık düzenlemesi, minimum ek altyapı ile standart eğitim işlem hatlarına doğal olarak entegre olur.
Uygulama alanları
- Uzman ek açıklamalarının kıt olduğu ve etiketlenmemiş taramaların bol olduğu tıbbi görüntü sınıflandırması.
- Az sayıda etiketlenmiş belge ile duygu analizi ve adlandırılmış varlık tanıma gibi doğal dil işleme görevleri.
- Deneysel etiketlerin elde edilmesinin pahalı olduğu protein yapısı ve genomik araştırmaları.
- Az sayıda etiketlenmiş kusur görüntüsü ve çok sayıda etiketlenmemiş üretim görüntüsü kullanılarak endüstriyel kalite kontrolü.
- Kayıtların yalnızca bir kısmının yazıya dökülebildiği konuşma tanıma ve ses sınıflandırması.
- Büyük taranmış veri kümeleriyle web içeriği sınıflandırması ve belge kategorizasyonu.
Nasıl çalışır?
Nasıl çalışır?
Küçük bir etiketlenmiş alt küme (genellikle toplamın birkaç yüzdesi) ve büyük bir etiketlenmemiş alt küme içeren bir veri kümesi toplayın. Etiketlenmiş örnekler, ilgili sınıfları veya sonuçları temsil etmelidir. Etiketlenmiş setteki veri kalitesinin nihai model üzerinde orantısız bir etkisi vardır.
Yalnızca etiketlenmiş örnekleri kullanarak ilk bir modeli eğitin. Bu, küçük etiketlenmiş havuz nedeniyle sınırlı doğruluğa sahip bir temel sınıflandırıcı veya regresör üretir, ancak etiketlenmemiş verilerden yararlanmak için başlangıç noktasını sağlar.
Etiketlenmemiş verilere sözde etiketler - tahmini sınıf atamaları veya yumuşak olasılık dağılımları - oluşturmak için ilk modeli uygulayın. Yüksek güvenilirlikli tahminler geçici olarak eğitim etiketleri olarak kabul edilir. Yaygın SSL algoritmaları burada farklılık gösterir: kendi kendine eğitim en yüksek güvenilirlikli tahminleri kabul eder, etiket yayılımı benzerlik grafiği aracılığıyla etiketleri yayar ve tutarlılık düzenlemesi girdi pertürbasyonları altında kararlı tahminleri zorlar.
Hem orijinal etiketlenmiş verileri hem de yeni sözde etiketlenmiş etiketlenmemiş örnekleri dahil ederek modeli yeniden eğitin. Bu işlem tekrarlanabilir: geliştirilmiş model daha iyi sözde etiketler üretir, bu da sırayla modeli daha da iyileştirir. Hata birikimini önlemek için düzenleme veya güven eşikleri kullanılır.
Eğitim veya sözde etiketleme sırasında asla maruz kalmayan standart metrikleri (doğruluk, F1, AUC, MSE) kullanarak tutulan bir etiketlenmiş test kümesi üzerinde nihai modeli değerlendirin. Etiketlenmemiş verilerden elde edilen kazancı ölçmek için yalnızca etiketlerle eğitilmiş tam denetimli bir temel modele kıyasla karşılaştırın.
Sık yapılan hatalar
- Etiketlenmiş kümeden farklı bir dağılımdan gelen etiketlenmemiş verilerin kullanılması - dağılım uyumsuzluğu, SSL başarısızlığının en yaygın nedenidir.
- Etiketlenmemiş verilerin aslında yardımcı olduğunu doğrulamayı imkansız hale getiren, yalnızca denetimli bir temel modelin ihmal edilmesi.
- Güven eşiklerinin çok düşük ayarlanması, eğitim kümesini yanlış sözde etiketlerle doldurmak.
- Sözde etiketlemeden sonra etiketlenmemiş havuz üzerinde değerlendirme yapmak, bu da performans tahminlerini şişirir.
- SSL'nin varsayımsız olarak kabul edilmesi - yöntem yalnızca pürüzsüzlük, küme veya manifold varsayımları geçerliyse yardımcı olur.
Sık sorulan sorular
Yarı denetimli öğrenme, kendi kendine denetimli öğrenmeden nasıl farklıdır?
Yarı denetimli öğrenme, denetimli bir görevi iyileştirmek için az sayıda insan tarafından sağlanan etiketleri etiketlenmemiş verilerle birlikte kullanır. Kendi kendine denetimli öğrenme, yalnızca etiketlenmemiş verilerin yapısından kendi etiketlerini oluşturur (örneğin, maskelenmiş kelimeleri tahmin etmek) - ön eğitim sırasında insan etiketi kullanılmaz, ancak öğrenilen temsiller daha sonra etiketlenmiş veriler üzerinde ince ayarlanır.
Yarı denetimli öğrenme ne zaman yardım etmek yerine zarar verir?
Etiketlenmemiş veriler etiketlenmiş verilerden farklı bir dağılımdan geliyorsa veya sınıf sınırları verilerdeki doğal kümelere uyumlu değilse, SSL denetimli temel modelin altına düşen bir doğruluk azaltan gürültü getirebilir. Her zaman yalnızca denetimli bir modele kıyasla karşılaştırın.
Denemek için en basit SSL algoritması nedir?
Kendi kendine eğitim en basitidir: etiketler üzerinde eğitin, etiketlenmemiş veriler üzerinde tahmin yapın, yüksek güvenilirlikli tahminleri etiketlenmiş veri olarak geri ekleyin ve yeniden eğitin. Herhangi bir temel öğreniciyle çalışır ve daha karmaşık graf veya tutarlılık düzenleme yöntemlerinden önce kullanışlı bir temel oluşturur.
Tipik olarak ne kadar etiketlenmiş veriye ihtiyaç duyulur?
Evrensel bir cevap yok, ancak SSL, etiketlenmiş verilerin toplam veri kümesinin %1-10'unu temsil ettiği durumlarda en faydalıdır. Sınıf başına kabaca 10-50 etiketlenmiş örneğin altında, SSL bile zorlanabilir; o noktada hangi örneklerin etiketleneceğini önceliklendirmek için aktif öğrenme daha etkili olabilir.
Yarı denetimli öğrenme herhangi bir model türüyle kullanılabilir mi?
Evet. Sözde etiketleme ve kendi kendine eğitim, herhangi bir temel öğreniciyle çalışır. Etiket yayılımı gibi graf tabanlı yöntemler modelden bağımsızdır ancak ikili benzerliklerin hesaplanmasını gerektirir. Tutarlılık düzenleme yöntemleri en doğal olarak sinir ağlarına uygulanır ancak olasılıksal modellere uyarlanabilir.
İlgili yöntemler
Kaynaklar
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Kopyalandı.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Yayın kaynağını açKopyalandı.