İçeriğe atla
Arama sonuçlarına dön

Vision Transformer

Ortaya koyan
Dosovitskiy, A. et al.
Yıl
2021
Tür
Transformer architecture for images (self-attention over patches)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Vision Transformer (ViT), Dosovitskiy ve meslektaşları tarafından 2021'de tanıtılmış olup, bir görüntüyü sabit boyutlu parçalara ayırır, bu parçaları bir dizi olarak ele alır ve görüntü sınıflandırması için Transformer öz-dikkat mekanizmasını uygular.

Yeterli eğitim verisiyle, evrişimli sinir ağlarını (CNN'ler) geride bırakır.

Yöntemin mantığı

Evrişimli ağlar, bir görüntüyü üzerinde kayan küçük yerel filtreler aracılığıyla okur. ViT farklı bir bakış açısı sunar: görüntüyü eşit boyutlu parçalardan oluşan bir ızgaraya böler, bunları bir cümledeki kelimeler gibi sıralar ve hangi parçaların hangisine dikkat etmesi gerektiğine bir Transformer'ın karar vermesine izin verir. Dikkat, herhangi bir parçayı diğer herhangi bir parçayla doğrudan ilişkilendirebildiği için, model yalnızca yerel komşulukları değil, tüm görüntü boyunca küresel ilişkileri öğrenir.

Tarih

Vision Transformer, Dosovitskiy ve meslektaşları tarafından 2021'de (An Image is Worth 16x16 Words) tanıtılmış olup, dilde zaten baskın olan Transformer öz-dikkat mimarisinin doğrudan görüntü parçalarına uygulanabileceğini ve ölçekte eğitildiğinde CNN'leri geride bırakabileceğini göstermiştir. Touvron ve meslektaşlarının veri-verimli görüntü transformeri üzerine yaptığı takip çalışmaları, ViT'nin veri iştahını ele alarak, daha küçük eğitim bütçeleriyle yaklaşımı daha pratik hale getirmiştir.

Ne zaman kullanılır?

ViT'yi, yaklaşık 1000 veya daha fazla görüntü ve ideal olarak çok daha fazlası olmak üzere büyük bir veri kümeniz olduğunda ve bir GPU'ya erişiminiz olduğunda görüntü sınıflandırması veya sürekli (piksel) görüntü verileri üzerinde tahmin için kullanın. Büyük bir ön eğitim külliyatı veya önceden eğitilmiş bir modelden transfer öğrenme ile en iyi şekilde çalışır. Küçük görüntü veri kümelerinde (birkaç yüz görüntünün altında) ViT, parça tabanlı dikkatini güvenilir bir şekilde öğrenemez ve CNN veya Rastgele Orman veya SVM gibi klasik bir makine öğrenmesi yöntemi daha güvenli bir seçimdir.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük bir eğitim seti gerektirir (yaklaşık 1000 görüntü veya daha fazla); küçük verilerde CNN'lerden daha düşük performans gösterir.
  • Bir GPU gereklidir ve sıfırdan eğitim veri ve hesaplama açısından yoğundur.
  • Çok küçük veri kümelerinde (birkaç yüz görüntünün altında) parça tabanlı dikkat güvenilir bir şekilde öğrenilemez.
  • Güçlü sonuçlar genellikle sıfırdan eğitime kıyasla büyük bir ön eğitim külliyatına veya transfer öğrenmeye bağlıdır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Öz-dikkat yoluyla küresel ilişkileri modelleyerek büyük görüntü veri kümelerinde CNN'leri geride bırakır.
  • Bir görüntüyü parçalar dizisi olarak ele alır, kanıtlanmış Transformer mimarisini vizyona uygular.
  • Yalnızca yerel komşulukların değil, tüm görüntü boyunca uzun menzilli bağımlılıkları yakalar.
  • Büyük ölçekli ön eğitim ve önceden eğitilmiş kontrol noktalarına transfer öğrenmeden güçlü bir şekilde yararlanır.
  • Normal dağılımlı verileri varsaymaz.

Uygulama alanları

  • Büyük görüntü veri kümelerinde görüntü sınıflandırması.
  • Küresel ilişkilerin önemli olduğu sürekli piksel verileri üzerinde tahmin görevleri.
  • Yeni vizyon görevlerine büyük önceden eğitilmiş görüntü modellerinden transfer öğrenme.
  • Görüntü boyunca uzun menzilli bağımlılıkları modellemenin yerel evrişimli filtrelerden daha iyi performans gösterdiği ayarlar.

Nasıl çalışır?

Nasıl çalışır?

1

Görüntü, sabit boyutlu parçalara (örneğin 16x16 piksel) bölünür. Her parça düzleştirilir ve doğrusal olarak bir gömme vektörüne yansıtılır ve ortaya çıkan gömmeler bir dizi oluşturur – bu, kelime jeton dizisinin görüntü analoğudur.

2

Parça dizisi, öz-dikkat üzerine kurulu Transformer katmanlarından geçirilir. Her parça diğer tüm parçalara dikkat edebilir, bu nedenle model, yerel komşulukların yanı sıra görüntü boyunca uzun menzilli, küresel bağımlılıkları yakalar; bu, ViT'nin büyük veri kümelerinde CNN'leri geride bırakmasını sağlayan temel mekanizmadır.

Formül
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Sınıflandırma başlığı, Transformer katmanlarının ürettiği toplu temsili okur ve tahmin edilen sınıfı çıktı olarak verir. Burada büyük ön eğitim çok önemli olduğundan, büyük bir görüntü külliyatı üzerinde önceden eğitilmiş bir modelden transfer öğrenme, güçlü performans için olağan yoldur.

Sık yapılan hatalar

  • Önceden eğitilmiş bir kontrol noktasını ince ayar yapmak yerine küçük bir veri kümesinde ViT'yi sıfırdan eğitmek.
  • ViT'nin ihtiyaç duyduğu büyük veri kümesi olmadan CNN düzeyinde doğruluk beklemek.
  • GPU olmadan eğitmeye çalışmak.
  • Başarısızlık eşiklerini göz ardı etmek — birkaç yüz görüntünün altında, bir CNN veya klasik yöntemi tercih edin.
  • Önceden eğitilmiş görüntü modelleri mevcut olduğunda transfer öğrenmeyi göz ardı etmek.

Sık sorulan sorular

ViT bir CNN'den nasıl farklıdır?

Bir CNN, bir görüntüyü yerel evrişimli filtreler aracılığıyla işlerken, ViT görüntüyü sabit boyutlu parçalara böler, bunları bir dizi olarak ele alır ve öz-dikkat kullanarak herhangi bir parçanın diğer herhangi bir parçayla ilişki kurmasını sağlar. Bu, ViT'nin küresel ilişkileri modellemesine ve büyük veri kümelerinde CNN'leri geride bırakmasına olanak tanır.

ViT ne kadar veriye ihtiyaç duyar?

ViT veri açısından yoğundur: yaklaşık 1000 veya daha fazla görüntü ve büyük bir ön eğitim külliyatı ile en iyi şekilde çalışır. Birkaç yüz görüntünün altında, parça tabanlı dikkati güvenilir bir şekilde öğrenemez ve bir CNN veya klasik yöntem tercih edilir.

Bir GPU'ya ihtiyacım var mı?

Evet. ViT bir GPU gerektirir ve eğitilmesi veri ve hesaplama açısından yoğundur. Önceden eğitilmiş bir kontrol noktasını transfer öğrenme ile kullanmak yükü önemli ölçüde azaltır.

Görüntü veri kümem küçükse ne yapmalıyım?

Küçük veri kümelerinde ViT düşük performans gösterir. Yaklaşık 500 görüntünün altında Rastgele Orman gibi bir yöntemi, birkaç yüz görüntünün altında ise bir CNN veya SVM'yi veya önceden eğitilmiş bir modelden transfer öğrenmeyi tercih edin.

İlgili yöntemler

Kaynaklar

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    Yayın kaynağını aç
    Kopyalandı.
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    Yayın kaynağını aç
    Kopyalandı.