Jaringan Kapsul
- Diperkenalkan oleh
- Sabour, S., Frosst, N. & Hinton, G. E.
- Tahun
- 2017
- Jenis
- Deep learning architecture (vector capsules with dynamic routing)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Jaringan Kapsul (CapsNet) adalah arsitektur pembelajaran mendalam yang diperkenalkan oleh Sara Sabour, Nicholas Frosst, dan Geoffrey Hinton pada tahun 2017 yang mengorganisir neuron sebagai vektor (kapsul) alih-alih aktivasi skalar, sehingga hierarki spasial dan informasi pose (orientasi) dikodekan secara langsung.
Arsitektur ini diusulkan untuk mengatasi kerapuhan jaringan konvolusional terhadap perubahan sudut pandang.
Intuisi di balik metode
Jaringan konvolusional standar mendeteksi keberadaan suatu fitur tetapi mengabaikan banyak hubungan spasialnya yang tepat dengan fitur lain, yang membuatnya rapuh ketika objek diputar atau dilihat dari sudut baru. Kapsul menggantikan neuron skalar tunggal dengan vektor kecil: panjangnya menandakan probabilitas keberadaan suatu entitas dan arahnya mengkodekan properti entitas tersebut, seperti pose dan orientasi. Karena kapsul membawa informasi yang lebih kaya ini, jaringan dapat bernalar tentang bagaimana bagian-bagian berhubungan dengan keseluruhan alih-alih sekadar apakah bagian-bagian tersebut muncul.
Sejarah
Jaringan Kapsul diperkenalkan oleh Sara Sabour, Nicholas Frosst, dan Geoffrey Hinton dalam makalah NeurIPS 2017 Dynamic Routing Between Capsules, yang dimotivasi oleh keterbatasan jaringan konvolusional dalam menangani variasi sudut pandang. Pada tahun 2018 Hinton, Sabour, dan Frosst memperluas ide tersebut di ICLR dengan Matrix Capsules with EM Routing, menggantikan skema routing asli dengan prosedur expectation-maximisation pada kapsul bernilai matriks.
Kapan digunakan
Cocok untuk klasifikasi dan prediksi pada data fitur kontinu terstruktur atau citra lainnya di mana ketahanan terhadap perubahan sudut pandang dan pose penting, dengan sampel yang cukup besar (setidaknya sekitar 500 observasi). GPU direkomendasikan dan algoritma routing dinamis harus disetel. Di bawah sekitar 500 observasi, routing tidak dapat belajar secara andal dan model mengalami overfitting; di bawah kira-kira 200, pengklasifikasi klasik seperti random forest atau SVM adalah pilihan yang lebih baik.
Batasan dan pertimbangan
- Membutuhkan sampel yang cukup besar (sekitar 500+); pada data yang lebih kecil, routing dinamis mengalami overfitting dan belajar secara tidak andal.
- Routing dinamis iteratif menuntut komputasi dan GPU direkomendasikan.
- Algoritma routing memperkenalkan hiperparameter yang harus disetel, menambah kompleksitas pelatihan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mengkodekan informasi pose dan hierarki spasial yang dibuang oleh pooling konvolusional, meningkatkan ketahanan terhadap perubahan sudut pandang.
- Memodelkan hubungan bagian-ke-keseluruhan yang eksplisit melalui routing-berdasarkan-kesepakatan.
- Kapsul vektor mempertahankan properti entitas (orientasi, posisi) alih-alih meruntuhkannya menjadi satu aktivasi.
Penerapan
- Klasifikasi citra yang harus tahan terhadap perubahan sudut pandang, rotasi, atau pose.
- Tugas pengenalan di mana pemodelan hubungan spasial bagian-ke-keseluruhan meningkatkan generalisasi.
- Klasifikasi dan prediksi pada input fitur kontinu terstruktur dengan data pelatihan yang cukup.
Cara kerjanya
Cara kerjanya
Alih-alih neuron skalar, jaringan mengelompokkan unit ke dalam kapsul — vektor pendek yang panjangnya mewakili probabilitas keberadaan entitas tertentu dan orientasinya mengkodekan parameter instansiasinya seperti pose. Kapsul tingkat rendah mendeteksi bagian, sementara kapsul tingkat tinggi mewakili keseluruhan yang dibentuk oleh bagian-bagian tersebut.
Algoritma dinamis routing-berdasarkan-kesepakatan menghubungkan kapsul tingkat rendah ke kapsul tingkat tinggi. Setiap kapsul tingkat rendah membuat prediksi untuk keluaran setiap kapsul tingkat tinggi melalui matriks transformasi; koefisien penggandengan kemudian disempurnakan secara iteratif sehingga prediksi yang sesuai saling memperkuat. Routing ini harus disetel dan menggantikan langkah pooling jaringan konvolusional dengan konsensus bagian-ke-keseluruhan yang eksplisit.
Rumus
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}Fungsi peremasan non-linear menyusutkan vektor pendek menuju nol dan vektor panjang menuju panjang unit, sehingga besaran kapsul keluaran tetap menjadi probabilitas yang valid sementara arahnya mempertahankan properti entitas. Panjang kapsul lapisan akhir memberikan prediksi kelas yang digunakan untuk klasifikasi.
Rumus
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}Kesalahan umum
- Pelatihan pada observasi yang terlalu sedikit (di bawah ~500), di mana routing tidak dapat konvergen ke penggandengan yang andal.
- Meninggalkan iterasi routing dinamis dan penggandengan pada default alih-alih menyetelnya untuk tugas tersebut.
- Mencoba melatih tanpa akselerasi GPU dan menerima pelatihan yang sangat lambat atau tidak lengkap.
- Menerapkan CapsNet pada input tidak terstruktur non-citra yang tidak dirancang untuknya alih-alih model klasik.
Pertanyaan yang sering diajukan
Bagaimana kapsul berbeda dari neuron normal?
Neuron normal menghasilkan aktivasi skalar tunggal. Kapsul menghasilkan vektor yang panjangnya mewakili probabilitas keberadaan entitas dan arahnya mengkodekan properti entitas tersebut, seperti pose dan orientasi, sehingga membawa informasi spasial yang jauh lebih kaya.
Apa itu routing dinamis?
Routing-berdasarkan-kesepakatan dinamis adalah algoritma yang menghubungkan kapsul tingkat rendah ke kapsul tingkat tinggi. Setiap kapsul tingkat rendah memprediksi keluaran kapsul tingkat tinggi, dan koefisien penggandengan disempurnakan secara iteratif sehingga prediksi yang sesuai saling memperkuat, menggantikan langkah pooling jaringan konvolusional.
Berapa banyak data dan komputasi yang saya butuhkan?
CapsNet membutuhkan dataset yang cukup besar — setidaknya sekitar 500 observasi — dan GPU direkomendasikan karena routing iteratif menuntut komputasi. Di bawah kira-kira 200 observasi, pengklasifikasi klasik seperti random forest atau SVM lebih sesuai.
Mengapa menggunakan jaringan kapsul alih-alih CNN?
CapsNet diusulkan secara khusus untuk mengatasi kerapuhan CNN terhadap perubahan sudut pandang. Dengan mempertahankan pose dan hubungan bagian-ke-keseluruhan alih-alih membuangnya melalui pooling, ia dapat menggeneralisasi lebih baik ketika objek muncul dalam orientasi baru.
Metode terkait
Sumber
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
Buka referensi publikasiDisalin.Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
Buka referensi publikasiDisalin.