CNN Dilasi
- Diperkenalkan oleh
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Tahun
- 2016
- Jenis
- Deep learning (dilated 1D convolutional network)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
CNN Dilasi adalah jaringan konvolusional satu dimensi yang bidang reseptifnya tumbuh secara eksponensial dengan kedalaman, memungkinkannya memodelkan struktur jarak jauh dalam deret waktu dan sinyal audio.
WaveNet (van den Oord et al., 2016) dan Jaringan Konvolusional Temporal dari Bai, Kolter, dan Koltun (2018) adalah anggota terkemuka dari keluarga ini.
Intuisi di balik metode
Konvolusi biasa hanya melihat beberapa langkah ke belakang, sehingga untuk mencapai masa lalu yang jauh memerlukan tumpukan yang sangat dalam. Sebaliknya, konvolusi dilasi melewati input dengan celah yang berlipat ganda lapis demi lapis, sehingga setiap lapisan tambahan secara kasar menggandakan seberapa jauh jaringan dapat melihat ke belakang. Oleh karena itu, beberapa lapisan dapat mencakup ribuan langkah waktu sambil menjaga jumlah parameter tetap sederhana.
Sejarah
Konvolusi dilasi untuk urutan dipopulerkan oleh WaveNet (van den Oord et al., 2016), yang menggunakan tumpukan konvolusi dilasi kausal untuk menghasilkan audio mentah. Bai, Kolter, dan Koltun (2018) menggeneralisasi ide tersebut menjadi Jaringan Konvolusional Temporal dan menunjukkan secara empiris bahwa arsitektur konvolusional semacam itu sering kali menyamai atau mengungguli jaringan rekuren pada berbagai tugas pemodelan urutan.
Kapan digunakan
Gunakan CNN Dilasi untuk perkiraan atau prediksi pada data deret waktu kontinu dan berurutan ketika dependensi jarak jauh penting dan Anda memiliki setidaknya beberapa ratus observasi. Model ini tidak mengasumsikan data terdistribusi normal, tetapi membutuhkan data berurutan, sangat diuntungkan dari GPU, dan ukuran bidang reseptif harus disesuaikan dengan tugas. Di bawah sekitar 500 observasi, model cenderung mengalami overfitting, dan di bawah sekitar 100, model konvolusional dalam tidak sepadan untuk dilatih.
Batasan dan pertimbangan
- Membutuhkan kumpulan data pelatihan yang cukup besar — mengalami overfitting ketika n di bawah sekitar 500.
- GPU secara efektif diperlukan untuk pelatihan praktis.
- Ukuran bidang reseptif harus disesuaikan dengan tugas; bidang yang terlalu kecil akan melewatkan dependensi jarak jauh.
- Pelatihan urutan konvolusional dalam tidak bermakna pada deret yang sangat pendek (n di bawah sekitar 100).
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Bidang reseptif tumbuh secara eksponensial dengan kedalaman, menangkap dependensi jarak jauh dengan sedikit lapisan.
- Konvolusi dapat diparalelkan dengan baik, melatih lebih cepat daripada jaringan rekuren pada urutan panjang.
- Tidak ada asumsi normalitas; bekerja langsung pada sinyal berurutan kontinu.
- Terbukti pada tugas-tugas yang menuntut, dari generasi audio mentah WaveNet hingga pemodelan urutan TCN umum.
Penerapan
- Perkiraan deret waktu di mana dependensi jarak jauh penting.
- Generasi dan pemodelan audio mentah, seperti pada WaveNet.
- Pemodelan urutan umum sebagai alternatif untuk jaringan rekuren (TCN).
- Tugas prediksi sinyal pada urutan kontinu yang panjang.
Cara kerjanya
Cara kerjanya
Filter konvolusional diterapkan dengan tingkat dilasi yang tumbuh (biasanya 1, 2, 4, 8, ...) dari satu lapisan ke lapisan berikutnya. Setiap filter masih hanya memiliki beberapa bobot, tetapi celah antar input yang disentuhnya melebar dengan kedalaman, sehingga model menangkap detail jangka pendek dan dependensi jangka panjang tanpa meledak ukurannya.
Karena dilasi berlipat ganda di setiap lapisan, bidang reseptif mengembang secara eksponensial dengan kedalaman: tumpukan L lapisan dengan ukuran kernel k dapat memperhatikan sekitar seribu langkah sebelumnya hanya dengan beberapa lapisan. Ukuran bidang reseptif harus disesuaikan dengan cakrawala yang sebenarnya dibutuhkan oleh tugas.
Rumus
r = 1 + (k-1)\sum_{l} d_lKonvolusi dilasi yang bertumpuk memasok lapisan akhir yang mengeluarkan prediksi untuk setiap posisi — nilai berikutnya dalam perkiraan atau label untuk langkah urutan. Arsitektur yang sama mendasari generasi audio mentah WaveNet dan pemodelan urutan umum TCN.
Kesalahan umum
- Menetapkan bidang reseptif terlalu kecil sehingga dependensi jarak jauh tidak pernah terlihat.
- Pelatihan pada deret pendek di mana model mengalami overfitting atau pembelajaran tidak berarti.
- Mengharapkan hasil yang dapat digunakan tanpa GPU pada urutan panjang.
- Mengabaikan bahwa dengan data yang sangat sedikit, model yang lebih sederhana seperti ensemble pohon adalah pilihan yang lebih aman.
Pertanyaan yang sering diajukan
Mengapa dilasi alih-alih hanya jaringan yang lebih dalam?
Dilasi memungkinkan bidang reseptif tumbuh secara eksponensial daripada linier dengan kedalaman, sehingga beberapa lapisan dapat mencapai ribuan langkah sebelumnya sambil menjaga jumlah parameter dan komputasi tetap sederhana.
Bagaimana perbandingannya dengan jaringan rekuren?
Bai, Kolter, dan Koltun (2018) menemukan bahwa arsitektur konvolusional seperti TCN sering kali menyamai atau mengungguli jaringan rekuren pada tugas urutan, dan mereka melatih lebih cepat karena konvolusi dapat diparalelkan di seluruh waktu.
Berapa banyak data yang saya butuhkan?
Rencanakan setidaknya beberapa ratus observasi berurutan. Di bawah sekitar 500, model cenderung mengalami overfitting, dan di bawah sekitar 100, melatih model konvolusional dalam tidak sepadan — model berbasis pohon lebih aman.
Apakah saya memerlukan GPU?
GPU sangat direkomendasikan; tanpanya, pelatihan pada urutan panjang menjadi sangat lambat.
Metode terkait
Sumber
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Buka referensi publikasiDisalin.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Buka referensi publikasiDisalin.