Vision Transformer
- Diperkenalkan oleh
- Dosovitskiy, A. et al.
- Tahun
- 2021
- Jenis
- Transformer architecture for images (self-attention over patches)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Vision Transformer (ViT), yang diperkenalkan oleh Dosovitskiy dan kolega pada tahun 2021, membagi citra menjadi potongan-potongan berukuran tetap, memperlakukan potongan-potongan tersebut sebagai urutan, dan menerapkan mekanisme perhatian diri (self-attention) Transformer untuk klasifikasi citra.
Dengan data pelatihan yang cukup, ViT melampaui jaringan saraf konvolusional (CNN).
Intuisi di balik metode
Jaringan konvolusional membaca citra melalui filter lokal kecil yang meluncur di atasnya. ViT mengambil pandangan yang berbeda: ia memotong citra menjadi kisi-kisi potongan berukuran sama, menyusunnya seperti kata-kata dalam kalimat, dan membiarkan Transformer memutuskan potongan mana yang harus memperhatikan potongan mana. Karena perhatian dapat secara langsung menghubungkan potongan mana pun ke potongan lainnya, model mempelajari hubungan global di seluruh citra, bukan hanya lingkungan lokal.
Sejarah
Vision Transformer diperkenalkan oleh Dosovitskiy dan kolega pada tahun 2021 (An Image is Worth 16x16 Words), menunjukkan bahwa arsitektur perhatian diri Transformer, yang sudah dominan dalam bahasa, dapat diterapkan langsung ke potongan citra dan melampaui CNN ketika dilatih dalam skala besar. Pekerjaan lanjutan oleh Touvron dan kolega tentang transformer citra yang efisien data mengatasi kebutuhan data ViT, membuat pendekatan ini lebih praktis dengan anggaran pelatihan yang lebih kecil.
Kapan digunakan
Gunakan ViT untuk klasifikasi citra atau prediksi pada data citra kontinu (piksel) ketika Anda memiliki kumpulan data besar—sekitar 1000 atau lebih citra, dan idealnya jauh lebih banyak—dan akses ke GPU. ViT bekerja paling baik dengan korpus pra-pelatihan besar atau pembelajaran transfer dari model yang telah dilatih sebelumnya. Pada kumpulan data citra kecil (di bawah beberapa ratus citra), ViT tidak dapat mempelajari perhatian berbasis potongannya secara andal, dan CNN atau metode pembelajaran mesin klasik seperti Random Forest atau SVM adalah pilihan yang lebih aman.
Batasan dan pertimbangan
- Membutuhkan kumpulan data pelatihan yang besar (sekitar 1000 citra atau lebih); pada data kecil, kinerjanya lebih buruk daripada CNN.
- GPU diperlukan, dan pelatihan dari awal membutuhkan banyak data dan komputasi.
- Pada kumpulan data yang sangat kecil (di bawah beberapa ratus citra), perhatian berbasis potongan gagal dipelajari secara andal.
- Hasil yang kuat biasanya bergantung pada korpus pra-pelatihan besar atau pembelajaran transfer daripada pelatihan dari awal.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Melampaui CNN pada kumpulan data citra besar dengan memodelkan hubungan global melalui perhatian diri.
- Memperlakukan citra sebagai urutan potongan, menerapkan arsitektur Transformer yang terbukti pada visi.
- Menangkap dependensi jarak jauh di seluruh citra, bukan hanya lingkungan lokal.
- Sangat diuntungkan dari pra-pelatihan skala besar dan pembelajaran transfer ke checkpoint yang telah dilatih sebelumnya.
- Tidak mengasumsikan data terdistribusi normal.
Penerapan
- Klasifikasi citra pada kumpulan data citra besar.
- Tugas prediksi pada data piksel kontinu di mana hubungan global penting.
- Pembelajaran transfer dari model citra besar yang telah dilatih sebelumnya ke tugas visi baru.
- Pengaturan di mana pemodelan dependensi jarak jauh di seluruh citra mengungguli filter konvolusional lokal.
Cara kerjanya
Cara kerjanya
Citra dibagi menjadi potongan-potongan berukuran tetap (misalnya, 16x16 piksel). Setiap potongan diratakan dan diproyeksikan secara linear ke dalam vektor embedding, dan embedding yang dihasilkan membentuk urutan—analogi citra dari urutan token kata.
Urutan potongan dimasukkan melalui lapisan Transformer yang dibangun di atas perhatian diri. Setiap potongan dapat memperhatikan setiap potongan lain, sehingga model menangkap dependensi jarak jauh dan global di seluruh citra, bukan hanya lingkungan lokal, yang merupakan mekanisme inti yang memungkinkan ViT mengungguli CNN pada kumpulan data besar.
Rumus
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VKepala klasifikasi membaca representasi agregat yang dihasilkan oleh lapisan Transformer dan mengeluarkan kelas yang diprediksi. Karena pra-pelatihan skala besar sangat penting di sini, pembelajaran transfer dari model yang telah dilatih sebelumnya pada korpus citra besar adalah cara yang biasa untuk kinerja yang kuat.
Kesalahan umum
- Melatih ViT dari awal pada kumpulan data kecil alih-alih menyempurnakan checkpoint yang telah dilatih sebelumnya.
- Mengharapkan akurasi setingkat CNN tanpa kumpulan data besar yang dibutuhkan ViT.
- Mencoba melatih tanpa GPU.
- Mengabaikan ambang batas kegagalan—di bawah beberapa ratus citra, lebih pilih CNN atau metode klasik.
- Mengabaikan pembelajaran transfer ketika model citra yang telah dilatih sebelumnya tersedia.
Pertanyaan yang sering diajukan
Bagaimana ViT berbeda dari CNN?
CNN memproses citra melalui filter konvolusional lokal, sementara ViT membagi citra menjadi potongan-potongan berukuran tetap, memperlakukannya sebagai urutan, dan menggunakan perhatian diri sehingga potongan mana pun dapat berhubungan dengan potongan lainnya. Hal ini memungkinkan ViT memodelkan hubungan global dan, pada kumpulan data besar, melampaui CNN.
Berapa banyak data yang dibutuhkan ViT?
ViT membutuhkan banyak data: ia bekerja paling baik dengan sekitar 1000 citra atau lebih dan korpus pra-pelatihan besar. Di bawah beberapa ratus citra, perhatian berbasis potongannya tidak dapat dipelajari secara andal, dan CNN atau metode klasik lebih disukai.
Apakah saya memerlukan GPU?
Ya. ViT memerlukan GPU, dan melatihnya membutuhkan banyak data dan komputasi. Menggunakan checkpoint yang telah dilatih sebelumnya dengan pembelajaran transfer secara signifikan mengurangi beban.
Bagaimana jika kumpulan data citra saya kecil?
Pada kumpulan data kecil, kinerja ViT lebih buruk. Di bawah kira-kira 500 citra, pertimbangkan metode seperti Random Forest, dan di bawah beberapa ratus, CNN atau SVM adalah pilihan yang lebih aman, atau andalkan pembelajaran transfer dari model yang telah dilatih sebelumnya.
Metode terkait
Sumber
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
Buka referensi publikasiDisalin.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
Buka referensi publikasiDisalin.