Kapsül Ağı (Capsule Network)
- Ortaya koyan
- Sabour, S., Frosst, N. & Hinton, G. E.
- Yıl
- 2017
- Tür
- Deep learning architecture (vector capsules with dynamic routing)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Kapsül Ağı (Capsule Network, CapsNet), Sara Sabour, Nicholas Frosst ve Geoffrey Hinton tarafından 2017'de tanıtılan ve uzamsal hiyerarşi ile poz (yönelim) bilgisinin doğrudan kodlanması için nöronları skaler aktivasyonlar yerine vektörler (kapsüller) olarak düzenleyen bir derin öğrenme mimarisidir.
Evrişimli ağların bakış açısı değişikliklerine karşı kırılganlığını aşmak üzere önerilmiştir.
Yöntemin mantığı
Standart bir evrişimli ağ, bir özelliğin mevcut olup olmadığını tespit eder ancak diğer özelliklerle olan kesin uzamsal ilişkisinin çoğunu atar; bu da nesne döndürüldüğünde veya yeni bir açıdan görüldüğünde onu kırılgan hale getirir. Bir kapsül, tek bir skaler nöronun yerine küçük bir vektör kullanır: uzunluğu bir varlığın mevcut olma olasılığını belirtir ve yönü poz ve yönelim gibi varlığın özelliklerini kodlar. Kapsüller bu daha zengin bilgiyi taşıdığı için, ağ yalnızca parçaların görünüp görünmediğini değil, parçaların bütünlerle nasıl ilişkili olduğunu da akıl yürütebilir.
Tarih
Kapsül Ağları, evrişimli ağların bakış açısı değişimlerini işlemedeki sınırlamalarından esinlenerek, Sara Sabour, Nicholas Frosst ve Geoffrey Hinton tarafından 2017 NeurIPS makalesi Dynamic Routing Between Capsules'da tanıtıldı. 2018'de Hinton, Sabour ve Frosst, orijinal yönlendirme şemasını matris değerli kapsüller üzerinde bir beklenti-maksimizasyon prosedürü ile değiştirerek ICLR'de Matrix Capsules with EM Routing ile bu fikri genişlettiler.
Ne zaman kullanılır?
Bakış açısı ve poz değişikliklerine karşı sağlamlığın önemli olduğu görüntü veya başka türlü yapılandırılmış sürekli özellik verileri üzerinde sınıflandırma ve tahmin için uygundur, makul derecede büyük bir örneklemle (en az yaklaşık 500 gözlem). Bir GPU önerilir ve dinamik yönlendirme algoritması ayarlanmalıdır. Yaklaşık 500 gözlemin altında yönlendirme güvenilir bir şekilde öğrenemez ve model aşırı uyum sağlar; kabaca 200'ün altında ise rastgele orman (random forest) veya SVM gibi klasik bir sınıflandırıcı daha iyi bir seçimdir.
Sınırlar ve dikkat edilmesi gerekenler
- Oldukça büyük bir örneklem gerektirir (yaklaşık 500+); daha küçük verilerde dinamik yönlendirme aşırı uyum sağlar ve güvenilmez öğrenir.
- Yinelemeli dinamik yönlendirme hesaplama açısından yoğundur ve bir GPU önerilir.
- Yönlendirme algoritması, ayarlanması gereken hiperparametreler ekler, bu da eğitim karmaşıklığını artırır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Evrişimli havuzlamanın (pooling) attığı poz ve uzamsal hiyerarşi bilgilerini kodlar, bakış açısı değişikliklerine karşı sağlamlığı artırır.
- Uzlaşma ile yönlendirme yoluyla açık parça-bütün ilişkilerini modeller.
- Vektör kapsüller, onları tek bir aktivasyona indirgemek yerine varlık özelliklerini (yönelim, konum) korur.
Uygulama alanları
- Bakış açısı, döndürme veya poz değişikliklerine karşı sağlam olması gereken görüntü sınıflandırması.
- Parça-bütün uzamsal ilişkilerini modellemenin genelleştirmeyi iyileştirdiği tanıma görevleri.
- Yeterli eğitim verisine sahip yapılandırılmış sürekli özellik girdileri üzerinde sınıflandırma ve tahmin.
Nasıl çalışır?
Nasıl çalışır?
Skaler nöronlar yerine, ağ birimleri kapsüller halinde gruplandırır — uzunluğu belirli bir varlığın var olma olasılığını temsil eden ve yönü poz gibi somutlaşma (instantiation) parametrelerini kodlayan kısa vektörler. Alt düzey kapsüller parçaları tespit ederken, üst düzey kapsüller bu parçaların oluşturduğu bütünleri temsil eder.
Bir dinamik uzlaşma ile yönlendirme (dynamic routing-by-agreement) algoritması, alt düzey kapsülleri üst düzey kapsüllere bağlar. Her alt düzey kapsül, her üst düzey kapsülün çıktısı için bir dönüşüm matrisi aracılığıyla bir tahmin yapar; ardından bağlaşım katsayıları, anlaşan tahminlerin birbirini güçlendirmesi için yinelemeli olarak iyileştirilir. Bu yönlendirme ayarlanmalı ve bir evrişimli ağın havuzlama (pooling) adımının yerine açık bir parça-bütün uzlaşmasını getirir.
Formül
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}Doğrusal olmayan bir sıkıştırma (squashing) fonksiyonu, kısa vektörleri sıfıra ve uzun vektörleri birim uzunluğa doğru küçültür, böylece bir çıktı kapsülünin büyüklüğü geçerli bir olasılık olarak kalırken yönü varlığın özelliklerini korur. Son katmanın kapsül uzunlukları sınıflandırma için kullanılan sınıf tahminlerini verir.
Formül
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}Sık yapılan hatalar
- Yönlendirmenin güvenilir bağlaşımlara yakınsayamadığı çok az gözlemde (~500'ün altında) eğitim.
- Dinamik yönlendirme yinelemelerini ve bağlaşımı görev için ayarlamak yerine varsayılan ayarlarda bırakmak.
- GPU hızlandırması olmadan eğitim yapmaya çalışmak ve aşırı yavaş veya eksik eğitime razı olmak.
- CapsNet'i tasarlanmadığı görüntü dışı, yapılandırılmamış girdilere klasik bir model yerine uygulamak.
Sık sorulan sorular
Bir kapsül normal bir nörondan nasıl farklıdır?
Normal bir nöron tek bir skaler aktivasyon çıktısı verir. Bir kapsül, uzunluğu bir varlığın mevcut olma olasılığını temsil eden ve yönü varlığın poz ve yönelim gibi özelliklerini kodlayan bir vektör çıktısı verir, böylece çok daha zengin uzamsal bilgi taşır.
Dinamik yönlendirme nedir?
Uzlaşma ile yönlendirme, alt düzey kapsülleri üst düzey kapsüllere bağlayan algoritmadır. Her alt düzey kapsül, üst düzey kapsüllerin çıktısını tahmin eder ve bağlaşım katsayıları, birbirini güçlendiren anlaşan tahminler için yinelemeli olarak iyileştirilir, bu da bir evrişimli ağın havuzlama adımını değiştirir.
Ne kadar veri ve hesaplama gücüne ihtiyacım var?
CapsNet, makul derecede büyük bir veri kümesi gerektirir — en az yaklaşık 500 gözlem — ve yinelemeli yönlendirme hesaplama açısından yoğun olduğu için bir GPU önerilir. Kabaca 200 gözlemin altında rastgele orman veya SVM gibi klasik bir sınıflandırıcı daha uygundur.
CNN yerine neden kapsül ağı kullanmalı?
CapsNet, özellikle bir CNN'nin bakış açısı değişikliklerine karşı kırılganlığını gidermek için önerilmiştir. Poz ve parça-bütün ilişkilerini havuzlayıp atmak yerine koruyarak, nesneler yeni yönelimlerde göründüğünde daha iyi genelleme yapabilir.
İlgili yöntemler
Kaynaklar
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
Yayın kaynağını açKopyalandı.Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
Yayın kaynağını açKopyalandı.