İçeriğe atla
Arama sonuçlarına dön

Öz-denetimli Lojistik Regresyon

Ortaya koyan
Chen et al. (SimCLR linear evaluation protocol, 2020); logistic probe practice widely adopted across SSL literature
Yıl
2020s
Tür
Self-supervised pretraining + supervised linear classification
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Öz-denetimli lojistik regresyon, sinirsel bir kodlayıcının önce bol miktarda etiketlenmemiş veri üzerinde öz-denetimli bir ön görevle — örneğin zıt öğrenme veya maskelenmiş tahmin — eğitildiği ve ardından dondurulmuş öğrenilmiş temsillerin küçük bir etiketlenmiş veri kümesi üzerinde eğitilmiş standart bir lojistik regresyon modeli ile sınıflandırıldığı iki aşamalı bir işlem hattıdır.

Bu doğrusal değerlendirme protokolü, öz-denetimli temsillerin kalitesini kıyaslamak için yaygın olarak kullanılmaktadır.

Yöntemin mantığı

Kimsenin etiketleri söylemeden, sadece görüntü çiftlerini karşılaştırarak ve onları benzer veya farklı yapan şeyleri öğrenerek şekilleri tanımayı kendinize öğrettiğinizi hayal edin. Bu denetimsiz pratikten sonra, görüntülere ilişkin iç temsiliniz zengin ve yapılandırılmış hale gelir. Sonunda birkaç etiketlenmiş örnek gördüğünüzde, öğrenilmiş temsilinize uygulanan basit bir doğrusal kural — lojistik regresyon — genellikle yeni örnekleri doğru bir şekilde sınıflandırmak için yeterlidir. Doğrusal sınıflandırıcının kalitesi, öz-denetimli ön eğitimin ne kadar faydalı olduğunu ortaya koyar, bu nedenle bu kombinasyon SSL topluluğunda standart bir kıyaslama probudur.

Tarih

Dondurulmuş öz-denetimli özellikler üzerinde lojistik regresyon eğitimi — doğrusal değerlendirme protokolü, SimCLR (Chen ve diğerleri, 2020) ve MoCo gibi zıt yöntemlerin başarısının ardından öz-denetimli öğrenme literatüründe baskın kıyaslama haline geldi. Kelime gömmeleri (Word2Vec, GloVe) üzerindeki önceki çalışmalar, temsil kalitesini doğrulamak için benzer aşağı akış doğrusal sınıflandırıcıları kullanmıştır. Protokol şimdi vizyon, NLP ve ses SSL araştırmalarında önceden eğitilmiş model faydasının hafif, karşılaştırılabilir bir ölçüsü olarak standarttır.

Ne zaman kullanılır?

Etiketlenmiş verinin kıt olduğu ancak etiketlenmemiş verinin bol olduğu durumlarda öz-denetimli lojistik regresyon kullanın — tıbbi görüntüleme, NLP veya bilimsel alanlarda yaygın bir durum. Ayrıca, bir öz-denetimli kodlayıcının aktarılabilir temsiller öğrenip öğrenmediğini değerlendirmek için standart protokoldür. Yaklaşım, ön eğitim ve aşağı akış alanları birbiriyle yakından ilişkili olduğunda en iyi sonucu verir. Etiketlenmiş verinin bol olduğu durumlarda (basit denetimli öğrenme daha iyi performans gösterecektir), aşağı akış görevi ince taneli doğrusal olmayan sınırlar gerektirdiğinde (kodlayıcının tam ince ayarı daha iyidir) veya büyük bir kodlayıcıyı ön eğitmek için hesaplama kaynakları mevcut olmadığında bundan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Faydalı temsiller üretmek için güçlü, genellikle büyük bir sinirsel kodlayıcı gerektirir, bu da ön eğitim için önemli hesaplama ve etiketlenmemiş veri gerektirir.
  • Performans, ön görevin aşağı akış sınıflandırma göreviyle ne kadar iyi hizalandığına büyük ölçüde bağlıdır; uyumsuz görevler zayıf gömmeler üretir.
  • Dondurulmuş doğrusal bir prob, karar sınırı önceden eğitilmiş özellik uzayında doğrusal olmayan olduğunda tam ince ayara kıyasla yetersiz kalabilir.
  • Uçtan uca yorumlanabilirlik sınırlıdır: öz-denetimli kodlayıcı, lojistik regresyona beslenen özellikleri üreten kara bir kutudur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketlenmemiş verilerden yararlanır, pahalı insan ek açıklamalarına olan ihtiyacı önemli ölçüde azaltır.
  • Doğrusal değerlendirme protokolü, temsil kalitesinin yorumlanabilir, tekrarlanabilir bir kıyaslamasını sağlar.
  • Lojistik regresyon hızlı, kararlıdır ve iyi anlaşılmış çıkarımlarla olasılıksal çıktılar sağlar.
  • Ön eğitimi sınıflandırmadan ayırmak, işlem hattını modüler hale getirir: aynı kodlayıcı birden fazla aşağı akış lojistik sınıflandırıcısına hizmet edebilir.
  • Öz-denetimli bir kodlayıcı önceden eğitilebildiği sürece — görüntüler, metin, ses — alanlar arasında iyi çalışır.

Uygulama alanları

  • Sınırlı etiketlenmiş tarama ancak büyük etiketlenmemiş arşivlerle tıbbi görüntü sınıflandırması.
  • Öz-denetimli dil modellerinden elde edilen cümle gömmelerini kullanarak NLP metin sınıflandırması.
  • Doğrusal sorgulama yoluyla farklı öz-denetimli ön eğitim stratejilerini kıyaslama ve karşılaştırma.
  • Etiketlemenin pahalı olduğu biyoloji ve kimya alanlarında bilimsel veri sınıflandırması.
  • Öz-denetimli ses kodlayıcıları ve ardından lojistik regresyon kullanarak ses olayı tespiti.
  • Etiketlenmiş hedef verinin kıt olduğu ancak etiketlenmemiş verinin mevcut olduğu düşük kaynaklu alan adaptasyonu.

Nasıl çalışır?

Nasıl çalışır?

1

Öz-denetimli bir ön görev, etiketlenmemiş veriler üzerinde tanımlanır: örneğin, aynı görüntünün iki artırılmış görünümünün ilişkili olup olmadığını tahmin etmek (zıt öğrenme), maskelenmiş jetonları yeniden oluşturmak (maskelenmiş otomatik kodlayıcılar) veya görüntü döndürmelerini tahmin etmek. Görev, insan etiketleri olmadan bir eğitim sinyali sağlar ve kodlayıcıyı anlamsal olarak anlamlı temsiller öğrenmeye zorlar.

2

Genellikle bir evrişimli ağ veya transformatör olan bir sinir ağı kodlayıcısı, büyük bir etiketlenmemiş külliyat üzerinde ön görev kaybını en aza indirmek için eğitilir. Eğitimden sonra, kodlayıcı, sınıf etiketleri dahil edilmemiş olsa bile, ara temsillerinde (gömme) üst düzey anlamsal yapıyı yakalar.

3

Kodlayıcı ağırlıkları ön eğitimden sonra dondurulur. Her etiketlenmiş eğitim örneği, sabit uzunluklu bir gömme vektörü z üretmek için dondurulmuş kodlayıcıdan geçirilir. Bu gömmeler, ham girdilerin yerini alarak aşağı akış denetimli adım için girdi özellikleri olarak hizmet eder.

4

Küçük etiketlenmiş veri kümesi üzerinde, dondurulmuş gömmeler z özellik olarak kullanılarak standart bir lojistik regresyon modeli uydurulur. Gömme zaten anlamsal olarak zengin olduğundan, lojistik regresyon — gömme uzayında doğrusal bir sınır — genellikle sinirsel ince ayar yapmadan güçlü sınıflandırma performansı elde etmek için yeterlidir.

Formül
P(y=1 \mid \mathbf{z}) = \sigma(\mathbf{w}^\top \mathbf{z} + b)
5

Eğitilmiş lojistik sınıflandırıcısı, standart metrikler kullanılarak tutulan bir test kümesi üzerinde değerlendirilir: doğruluk, F1, AUC-ROC. SSL kıyaslama literatüründe buna doğrusal değerlendirme protokolü denir; dondurulmuş özellikler üzerindeki yüksek doğrusal doğruluk, ön eğitimin faydalı, doğrusal olarak ayrılabilir temsiller öğrendiğini gösterir.

Sık yapılan hatalar

  • Ön eğitim için kullanılan etiketlenmemiş havuz üzerinde değerlendirme — kodlayıcı bu girdileri görmüştür, bu da aşağı akış tahminlerini şişirebilir.
  • Yüksek bir doğrusal prob puanının, modelin daha fazla doğrulama olmadan farklı bir alana genelleşeceği anlamına geldiğini varsaymak.
  • Zıt ön eğitimde veri artırmayı atlamak veya zayıf artırmalar kullanmak, yetersiz performans gösteren temsillerle sonuçlanır.
  • Çok küçük bir etiketlenmemiş ön eğitim kümesi kullanmak, böylece kodlayıcı yeterince genel temsiller öğrenmez.
  • Doğrusal değerlendirme sırasında kodlayıcıyı dondurmayı unutmak, bu da kodlayıcı kalitesini aşağı akış ince ayarıyla karıştırır.

Sık sorulan sorular

Öz-denetimli öğrenmede doğrusal prob nedir?

Doğrusal prob tam olarak bu kurulumdur: öz-denetimli ön eğitimden sonra, kodlayıcı dondurulur ve basit bir doğrusal sınıflandırıcı — tipik olarak lojistik regresyon — etiketlenmiş veriler kullanılarak çıktı gömmeleri üzerinde eğitilir. Doğrusal prob doğruluğu, önceden eğitilmiş temsillerin ne kadar faydalı ve doğrusal olarak ayrılabilir olduğunu kıyaslar.

Doğrusal sorgulama mı yoksa tam ince ayar mı kullanmalıyım?

Doğrusal sorgulama daha hızlıdır ve temsillerin zaten faydalı olup olmadığını ortaya çıkarır; standart değerlendirme kıyaslamasıdır. Kodlayıcının tam ince ayarı, daha fazla etiketlenmiş veri ve hesaplama maliyetiyle genellikle daha yüksek aşağı akış doğruluğu sağlar ve önceden eğitilmiş temsilleri unutma riski taşır. Pratikte, önce doğrusal sorgulama, ardından gerekirse ince ayar yapılır.

Lojistik regresyon adımı için ne kadar etiketlenmiş veriye ihtiyacım var?

Temel avantajlardan biri, kodlayıcı temsilleri yüksek kalitede olduğunda, her sınıf için bir ila on etiketlenmiş örnek kadar azıyla güçlü sonuçların elde edilebilmesidir. Ancak, tipik değerlendirmeler yöntemleri adil bir şekilde karşılaştırmak için mevcut etiketlenmiş verilerin %1-10'unu kullanır.

Ön görevim aşağı akış görevimle eşleşmek zorunda mı?

Tam olarak değil, ancak hizalama önemlidir. Zıt vizyon ön eğitimi birçok görsel sınıflandırma görevine iyi aktarılır. Ön görev, aşağı akış görevinden çok farklıysa — örneğin, metin döndürmesini tahmin edip ardından moleküler özellik tahmini için özellikler kullanmak — temsiller zayıf olabilir. Her zaman doğrusal prob ile aktarım kalitesini doğrulayın.

Derin bir sinirsel kodlayıcı olmadan bunu uygulayabilir miyim?

Öz-denetimli ön eğitim, kodlayıcı karmaşık temsiller öğrenebilecek kadar ifade edici olduğunda en faydalıdır. Basit tablo verileri için, klasik özellik mühendisliği veya otomatik kodlayıcılar daha yaygın olarak kullanılır; derin öz-denetimli + lojistik regresyon işlem hattı, görüntüler, metin, ses ve diğer yüksek boyutlu yapılandırılmış girdiler için en etkili olanıdır.

İlgili yöntemler

Kaynaklar

  1. Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 1597–1607.

    Yayın kaynağını aç
    Kopyalandı.
  2. van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440.

    DOI kaynağını aç
    Kopyalandı.