İçeriğe atla
Arama sonuçlarına dön

Görsel Ayırt Edici Öğrenme

Ortaya koyan
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
Yıl
2020
Tür
Self-supervised deep representation learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Görsel ayırt edici öğrenme, etiketler olmadan zengin görüntü temsilleri öğrenen, SimCLR (Chen ve diğ., 2020) ve MoCo (He ve diğ., 2020) gibi çerçevelerle popülerleşmiş öz-denetimli bir derin öğrenme yaklaşımıdır; bu yaklaşım, aynı görüntünün farklı artırımlarını birbirine yaklaştırırken farklı görüntüleri birbirinden uzaklaştırır.

Büyük bir etiketlenmemiş görüntü havuzunu kullanışlı bir özellik çıkarıcıya dönüştürür.

Yöntemin mantığı

Tek bir fotoğrafı iki farklı şekilde kırpma, yeniden renklendirme veya çevirme yaparsanız, her iki sürüm de tanınabilir şekilde aynı şeyi ifade etmelidir. Ayırt edici öğrenme tam olarak bu fikir üzerine kuruludur: bir ağı, bir görüntünün iki artırılmış görünümünü özellik uzayında birbirine yakın eşleştirmeye öğretirken, diğer görüntülere ait görünümleri birbirinden uzak tutar. İnsan etiketlerine gerek yoktur — denetim tamamen görüntüleri birbirleriyle karşılaştırarak sağlanır.

Tarih

Görsel ayırt edici öğrenme 2020'de hızla olgunlaştı. SimCLR (Chen ve diğ., ICML 2020), güçlü artırımlar, bir projeksiyon başlığı ve NT-Xent ayırt edici kaybından oluşan basit bir çerçevenin denetimli ön eğitime rakip olabileceğini gösterdi. MoCo (He ve diğ., CVPR 2020), büyük ölçekli ayırt edici öğrenmeyi devasa gruplar olmadan uygulanabilir hale getiren, momentum güncellenmiş bir kodlayıcı ve negatiflerden oluşan dinamik bir kuyruk tanıttı. BYOL gibi daha sonraki yaklaşımlar, açık negatif çiftler olmadan öğrenerek bu aileyi genişletti.

Ne zaman kullanılır?

Büyük (en az yaklaşık 1000 görüntü düzeyinde) etiketlenmemiş görüntü koleksiyonunuz olduğunda ve etiketli herhangi bir görevden önce güçlü görsel temsiller öğrenmek istediğinizde kullanın. Böyle bir etiketlenmemiş veri kümesinin mevcut olduğunu varsayar, bir GPU gerektirir ve iyi seçilmiş bir veri artırım stratejisine büyük ölçüde bağlıdır. Yaklaşık 500–1000 görüntünün altında, negatif çiftler kullanışlı temsiller öğrenmek için çok az ve çok benzerdir, bu nedenle denetimli klasik makine öğrenmesi daha güvenli bir seçenektir.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük bir etiketlenmemiş görüntü veri kümesi gerektirir; küçük kümelerde anlamlı temsiller üretemez.
  • Ön eğitim için bir GPU ve önemli miktarda hesaplama gücü gerektirir.
  • Performans, alan başına ayarlanması gereken veri artırım stratejisine bağlıdır.
  • Yaklaşık 500 görüntünün altında öz-denetimli öğrenme başarısız olur ve denetimli klasik Makine Öğrenmesi tercih edilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Maliyetli manuel etiketleme ihtiyacını ortadan kaldırarak etiketlenmemiş görüntülerden kullanışlı görsel temsiller öğrenir.
  • Önceden eğitilmiş kodlayıcı, yalnızca küçük bir etiketli küme ile birçok aşağı akış görevine aktarılır.
  • SimCLR ve MoCo gibi çerçeveler, iyi incelenmiş, tekrarlanabilir tarifler sunar.
  • MoCo'nun momentum kodlayıcısı ve negatif kuyruğu, devasa gruplar olmadan birçok negatif karşılaştırmayı kullanılabilir hale getirir.

Uygulama alanları

  • Büyük etiketlenmemiş fotoğraf koleksiyonlarında görüntü kodlayıcılarının ön eğitimi.
  • Sınırlı etiketlerle aşağı akış görüntü sınıflandırmasına aktarım öğrenmesi.
  • Görüş işlem hatları için yeniden kullanılabilir görsel özellik çıkarıcılar oluşturma.
  • Etiketlerin kıt veya pahalı olduğu alanlarda temsil öğrenme.

Nasıl çalışır?

Nasıl çalışır?

1

Her görüntü, kırpma, renk titremesi ve çevirme gibi rastgele artırımlarla iki kez dönüştürülür, bu da iki ilişkili görünüm üretir. Artırım stratejisinin seçimi kritiktir: modelin 'aynı' olarak kabul etmesi istenen şeyi tanımlar ve zayıf veya kötü seçilmiş artırımlar zayıf temsillerle sonuçlanır.

2

Bir kodlayıcı her görünümü bir gömme (embedding) haline getirir ve ayırt edici bir amaç, aynı görüntünün iki görünümünü (pozitif çift) birbirine yakınlaştırırken diğer görüntülere ait görünümleri (negatifler) uzaklaştırır. SimCLR, bir sıcaklık parametresiyle NT-Xent kaybını kullanır; MoCo, büyük gruplar olmadan birçok karşılaştırmanın mevcut olmasını sağlamak için momentum güncellenmiş bir kodlayıcı ve negatif kuyruğu (queue) tutar.

Formül
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

Öz-denetimli ön eğitimden sonra, öğrenilen kodlayıcı genel bir görsel özellik çıkarıcı olarak yeniden kullanılır. Daha sonra küçük bir etiketli küme, temsili aşağı akış görevlerine aktararak hafif bir sınıflandırıcıyı ince ayar yapmak veya eğitmek için yeterli olur.

Sık yapılan hatalar

  • Negatif çift çeşitliliğinin yetersiz olduğu küçük bir görüntü kümesinde ayırt edici ön eğitim girişiminde bulunmak.
  • Öğrenilen temsili çökelten zayıf veya alana uygun olmayan artırımların kullanılması.
  • Ayırt edici kayıptaki sıcaklık parametresinin göz ardı edilmesi.
  • GPU veya yeterli eğitim süresi olmadan iyi sonuçlar beklemek.

Sık sorulan sorular

Etiketlere ihtiyacım var mı?

Hayır. Ayırt edici öz-denetimli öğrenmenin amacı, etiketlenmemiş görüntülerden temsiller öğrenmektir. Etiketlere yalnızca daha sonra, küçük bir aşağı akış ince ayar veya değerlendirme kümesi için ihtiyaç duyulur.

Kaç görüntüye ihtiyacım var?

En az yaklaşık 1000 etiketlenmemiş görüntü planlayın. Yaklaşık 500–1000'in altında, negatif çift çeşitliliği yöntemin anlamlı temsiller öğrenmesi için çok düşüktür ve denetimli klasik Makine Öğrenmesi daha güvenli bir seçenektir.

SimCLR ve MoCo arasındaki fark nedir?

SimCLR, birçok negatif sağlamak için büyük gruplara dayanır ve NT-Xent kaybını kullanır. MoCo bunun yerine geçmiş gömmelerin momentum güncellenmiş bir kodlayıcısını ve kuyruğunu negatif olarak tutar, bu nedenle daha az grup içi karşılaştırma gerektirir.

Veri artırımı neden bu kadar önemli?

Artırım, bir görüntünün hangi dönüştürülmüş görünümlerinin model tarafından aynı olarak kabul edilmesi gerektiğini tanımlar. Güçlü, iyi seçilmiş bir artırım stratejisi kritiktir; zayıf artırımlar zayıf temsiller üretir.

İlgili yöntemler

Kaynaklar

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    Yayın kaynağını aç
    Kopyalandı.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    Yayın kaynağını aç
    Kopyalandı.