Pembelajaran Kontrastif Visual
- Diperkenalkan oleh
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- Tahun
- 2020
- Jenis
- Self-supervised deep representation learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran kontrastif visual adalah pendekatan pembelajaran mendalam yang bersifat swa-awasi — dipopulerkan oleh kerangka kerja seperti SimCLR (Chen et al., 2020) dan MoCo (He et al., 2020) — yang mempelajari representasi citra yang kaya tanpa label dengan menarik berbagai augmentasi dari citra yang sama dan mendorong citra yang berbeda menjauh.
Ini mengubah kumpulan besar citra tak berlabel menjadi ekstraktor fitur yang berguna.
Intuisi di balik metode
Jika Anda memotong, mewarnai ulang, atau membalik satu foto dengan dua cara berbeda, kedua versi tersebut seharusnya masih dikenali sebagai hal yang sama. Pembelajaran kontrastif dibangun berdasarkan ide ini: ia mengajarkan jaringan untuk memetakan dua tampilan teraugmentasi dari satu citra agar berdekatan dalam ruang fitur sambil menjaga tampilan citra lain berjauhan. Tidak diperlukan label manusia — pengawasan sepenuhnya berasal dari perbandingan citra satu sama lain.
Sejarah
Pembelajaran kontrastif visual matang dengan cepat pada tahun 2020. SimCLR (Chen et al., ICML 2020) menunjukkan bahwa kerangka kerja sederhana dari augmentasi kuat, kepala proyeksi, dan kerugian kontrastif NT-Xent dapat menyaingi pra-pelatihan yang diawasi. MoCo (He et al., CVPR 2020) memperkenalkan encoder yang diperbarui momentum dengan antrean negatif dinamis, membuat pembelajaran kontrastif skala besar layak tanpa batch besar. Pendekatan selanjutnya seperti BYOL memperluas keluarga dengan belajar tanpa pasangan negatif eksplisit.
Kapan digunakan
Gunakan ketika Anda memiliki koleksi citra tak berlabel yang besar — sekitar setidaknya 1000 citra — dan ingin mempelajari representasi visual yang kuat sebelum tugas berlabel apa pun. Ini mengasumsikan kumpulan data tak berlabel tersebut tersedia, memerlukan GPU, dan sangat bergantung pada strategi augmentasi data yang dipilih dengan baik. Di bawah kira-kira 500–1000 citra, pasangan negatif terlalu sedikit dan terlalu mirip untuk mempelajari representasi yang berguna, dan pembelajaran mesin klasik yang diawasi adalah pilihan yang lebih aman.
Batasan dan pertimbangan
- Memerlukan kumpulan data citra tak berlabel yang besar; pada kumpulan data kecil, metode ini tidak dapat menghasilkan representasi yang bermakna.
- Memerlukan GPU dan komputasi yang cukup untuk pra-pelatihan.
- Kinerja bergantung pada strategi augmentasi data, yang harus disesuaikan per domain.
- Di bawah kira-kira 500 citra, pembelajaran swa-awasi gagal dan ML klasik yang diawasi lebih disukai.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mempelajari representasi visual yang berguna dari citra tak berlabel, menghilangkan kebutuhan akan anotasi manual yang mahal.
- Encoder yang telah dilatih sebelumnya ditransfer ke banyak tugas hilir hanya dengan kumpulan data berlabel kecil.
- Kerangka kerja seperti SimCLR dan MoCo memberikan resep yang dipelajari dengan baik dan dapat direproduksi.
- Encoder momentum MoCo dan antrean negatif membuat banyak perbandingan negatif tersedia tanpa batch yang sangat besar.
Penerapan
- Pra-pelatihan encoder citra pada koleksi foto tak berlabel yang besar.
- Transfer pembelajaran ke klasifikasi citra hilir dengan label terbatas.
- Membangun ekstraktor fitur visual yang dapat digunakan kembali untuk alur kerja visi.
- Pembelajaran representasi di domain di mana label langka atau mahal.
Cara kerjanya
Cara kerjanya
Setiap citra ditransformasi dua kali dengan augmentasi acak seperti pemotongan, jitter warna, dan pembalikan, menghasilkan dua tampilan yang saling berhubungan. Pilihan strategi augmentasi sangat penting: ia mendefinisikan apa yang diminta model untuk diperlakukan sebagai 'sama', dan augmentasi yang lemah atau salah pilih akan menghasilkan representasi yang lemah.
Sebuah encoder memetakan setiap tampilan ke sebuah embedding, dan tujuan kontrastif menarik dua tampilan dari citra yang sama (pasangan positif) agar berdekatan sambil mendorong tampilan citra lain (negatif) berjauhan. SimCLR menggunakan kerugian NT-Xent dengan parameter suhu; MoCo mempertahankan encoder yang diperbarui momentum dan antrean negatif sehingga banyak perbandingan tersedia tanpa batch yang sangat besar.
Rumus
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}Setelah pra-pelatihan swa-awasi, encoder yang dipelajari digunakan kembali sebagai ekstraktor fitur visual umum. Kumpulan data berlabel kecil kemudian cukup untuk menyempurnakan atau melatih pengklasifikasi ringan di atasnya, mentransfer representasi ke tugas hilir.
Kesalahan umum
- Mencoba pra-pelatihan kontrastif pada kumpulan citra kecil di mana keragaman pasangan negatif tidak mencukupi.
- Menggunakan augmentasi yang lemah atau tidak sesuai domain, yang merusak representasi yang dipelajari.
- Mengabaikan parameter suhu dalam kerugian kontrastif.
- Mengharapkan hasil yang baik tanpa GPU atau waktu pelatihan yang memadai.
Pertanyaan yang sering diajukan
Apakah saya memerlukan label?
Tidak. Inti dari pembelajaran swa-awasi kontrastif adalah mempelajari representasi dari citra tak berlabel. Label hanya diperlukan nanti, untuk penyempurnaan atau evaluasi hilir dengan kumpulan data kecil.
Berapa banyak citra yang saya perlukan?
Rencanakan setidaknya sekitar 1000 citra tak berlabel. Di bawah kira-kira 500–1000, keragaman pasangan negatif terlalu rendah agar metode ini dapat mempelajari representasi yang bermakna, dan ML klasik yang diawasi adalah pilihan yang lebih aman.
Apa perbedaan antara SimCLR dan MoCo?
SimCLR mengandalkan batch besar untuk menyediakan banyak negatif dan menggunakan kerugian NT-Xent. MoCo sebaliknya menyimpan encoder yang diperbarui momentum dan antrean embedding sebelumnya sebagai negatif, sehingga membutuhkan lebih sedikit perbandingan dalam batch.
Mengapa augmentasi data begitu penting?
Augmentasi mendefinisikan tampilan citra yang ditransformasi yang harus diperlakukan model sebagai sama. Strategi augmentasi yang kuat dan dipilih dengan baik sangat penting; augmentasi yang lemah menghasilkan representasi yang lemah.
Metode terkait
Sumber
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
Buka referensi publikasiDisalin.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
Buka referensi publikasiDisalin.