Jaringan Saraf Tiruan Konvolusional (Klasifikasi)
- Diperkenalkan oleh
- LeCun, Y. et al.
- Tahun
- 1998
- Jenis
- Deep neural network (convolutional)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Jaringan Saraf Tiruan Konvolusional (CNN) adalah model pembelajaran mendalam, yang didirikan oleh LeCun dan rekan-rekannya pada tahun 1998, yang mempelajari pola lokal langsung dari gambar dan data terstruktur untuk mengklasifikasikannya.
Tumpukan filter konvolusional menemukan fitur yang semakin abstrak, sehingga rekayasa fitur manual dapat sangat dikurangi.
Intuisi di balik metode
Alih-alih membuat fitur secara manual, CNN menggeser filter kecil yang dapat dipelajari melintasi masukan untuk mendeteksi pola lokal seperti tepi, tekstur, atau motif, di mana pun mereka muncul. Lapisan awal menangkap isyarat sederhana; lapisan yang lebih dalam menggabungkannya menjadi konsep tingkat yang lebih tinggi. Karena filter yang sama digunakan kembali di seluruh masukan, jaringan belajar secara efisien dan mengenali pola di mana pun ia muncul.
Sejarah
Jaringan saraf konvolusional disatukan dalam bentuk modern oleh Yann LeCun dan rekan-rekannya dalam karya mereka tahun 1998 tentang pembelajaran berbasis gradien yang diterapkan pada pengenalan dokumen, di mana arsitektur LeNet membaca digit tulisan tangan. Kombinasi konvolusi, pengumpulan, dan pelatihan gradien ujung ke ujung menjadi templat untuk klasifikasi gambar dan, dengan kumpulan data yang lebih besar dan perangkat keras yang lebih cepat, mendorong revolusi pembelajaran mendalam dalam visi komputer.
Kapan digunakan
Gunakan CNN untuk mengklasifikasikan atau memprediksi dari gambar dan data seperti kisi terstruktur ketika Anda memiliki kumpulan data berlabel yang besar — sekitar 1000 atau lebih observasi — dan ingin model mempelajari fitur secara otomatis daripada merekayasanya secara manual. Ini tidak memerlukan data yang terdistribusi normal dan menangani masukan kontinu dan kategorikal. Di bawah sekitar 500 observasi jaringan mengalami overfitting dan Random Forest lebih aman; di bawah sekitar 200 filter konvolusional tidak dapat mempelajari pola yang bermakna dan SVM lebih disukai.
Batasan dan pertimbangan
- Membutuhkan kumpulan data berlabel besar (sekitar 1000+ observasi) untuk dilatih secara andal.
- Pada sampel kecil (n di bawah sekitar 500) jaringan mengalami overfitting dan kinerja klasifikasi menurun.
- Di bawah sekitar 200 observasi filter konvolusional sama sekali tidak dapat mempelajari pola yang bermakna.
- Menuntut secara komputasi untuk dilatih, dan representasi yang dipelajari sulit diinterpretasikan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mempelajari pola lokal secara otomatis, sangat mengurangi kebutuhan akan rekayasa fitur manual.
- Berbagi bobot mengenali pola di mana pun ia muncul dan menjaga jumlah parameter tetap terkelola.
- Membangun hierarki fitur, dari tepi sederhana hingga konsep abstrak, sangat cocok untuk gambar.
- Asumsi ringan: tidak ada persyaratan normalitas, dan menerima masukan kontinu dan kategorikal.
- Akurasi mutakhir pada tugas klasifikasi gambar dan data terstruktur kisi berlabel besar.
Penerapan
- Tugas klasifikasi dan pengenalan gambar.
- Klasifikasi data terstruktur seperti kisi di mana pola lokal penting.
- Pengenalan dokumen dan karakter tulisan tangan.
- Pembelajaran fitur di mana rekayasa fitur manual tidak praktis.
Cara kerjanya
Cara kerjanya
Filter yang dapat dipelajari (kernel) dikonvolusikan melintasi masukan, menghitung jumlah tertimbang lokal untuk menghasilkan peta fitur. Setiap filter merespons pola lokal tertentu — tepi, tekstur, fragmen bentuk — dan karena bobot yang sama dibagikan di semua posisi, jaringan mendeteksi pola tersebut di mana pun dalam masukan sambil menjaga jumlah parameter tetap rendah.
Rumus
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)Lapisan pengumpulan (misalnya, pengumpulan maksimum) menurunkan dimensi setiap peta fitur, meringkas lingkungan menjadi satu nilai. Ini menyusutkan dimensi spasial, membuat representasi lebih kuat terhadap pergeseran dan distorsi kecil, dan memungkinkan lapisan berikutnya membangun fitur yang semakin abstrak di bidang reseptif yang lebih luas.
Peta fitur tingkat tinggi diratakan dan dilewatkan melalui lapisan yang terhubung sepenuhnya yang diakhiri dengan softmax yang menghasilkan probabilitas kelas. Seluruh jaringan — filter dan bobot bersama-sama — dilatih dari ujung ke ujung dengan pembelajaran berbasis gradien, meminimalkan kerugian klasifikasi melalui propagasi balik.
Rumus
\hat{y} = \operatorname{softmax}(W h + b)Kesalahan umum
- Pelatihan pada data yang terlalu sedikit dan overfitting alih-alih kembali ke Random Forest atau SVM.
- Melewatkan pemisahan validasi atau pengujian yang disisihkan dan mempercayai akurasi pelatihan.
- Mengabaikan ketidakseimbangan kelas alih-alih menimbang ulang atau mengambil sampel ulang kelas.
- Melaporkan hanya akurasi tanpa presisi, recall, F1, atau matriks kebingungan.
- Lupa menormalisasi masukan atau tidak menerapkan regularisasi terhadap overfitting.
Pertanyaan yang sering diajukan
Berapa banyak data yang dibutuhkan CNN?
CNN haus data; batas kasar adalah sekitar 1000 observasi berlabel. Di bawah sekitar 500 mereka cenderung overfitting, dan di bawah sekitar 200 filter tidak dapat mempelajari pola yang bermakna — dalam kasus tersebut Random Forest atau SVM adalah pilihan yang lebih aman.
Mengapa konvolusi alih-alih jaringan saraf biasa?
Konvolusi berbagi filter kecil yang sama di semua posisi masukan, sehingga pola terdeteksi di mana pun ia muncul dan jumlah parameter tetap rendah. Jaringan yang terhubung sepenuhnya akan membutuhkan bobot yang jauh lebih banyak dan tidak akan memanfaatkan struktur spasial data.
Apa yang dilakukan pengumpulan?
Pengumpulan menurunkan dimensi peta fitur dengan meringkas lingkungan lokal, yang mengurangi ukuran spasial, menambah ketahanan terhadap pergeseran kecil, dan memungkinkan lapisan yang lebih dalam membangun fitur yang lebih abstrak di bidang reseptif yang lebih luas.
Apa yang harus saya periksa sebelum mengandalkan CNN?
Pastikan Anda memiliki kumpulan data berlabel yang cukup besar, normalisasi masukan, siapkan pemisahan latih/validasi/uji yang tepat, tangani ketidakseimbangan kelas apa pun, dan evaluasi dengan presisi, recall, F1, dan matriks kebingungan daripada hanya akurasi.
Metode terkait
Sumber
LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.
Buka referensi DOIDisalin.