Genişletilmiş Evrişimli Sinir Ağı
- Ortaya koyan
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Yıl
- 2016
- Tür
- Deep learning (dilated 1D convolutional network)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Genişletilmiş bir Evrişimli Sinir Ağı (CNN), derinlikle üstel olarak büyüyen bir alıcı alana sahip tek boyutlu bir evrişimli ağdır; bu da zaman serileri ve ses sinyallerindeki uzun menzilli yapıyı modellemesine olanak tanır.
WaveNet (van den Oord ve ark., 2016) ve Bai, Kolter ve Koltun'un (2018) Zamansal Evrişimli Ağı bu ailenin önde gelen üyeleridir.
Yöntemin mantığı
Sıradan evrişimler yalnızca birkaç adım geriye bakar, bu nedenle geçmişte uzağa ulaşmak çok derin bir yığın gerektirir. Genişletilmiş bir evrişim ise, katman katman ikiye katlanan bir boşlukla girdileri atlar, böylece eklenen her katman ağın ne kadar geriye bakabileceğini kabaca ikiye katlar. Bu nedenle, birkaç katman, parametre sayısını makul tutarken binlerce zaman adımını kapsayabilir.
Tarih
Diziler için genişletilmiş evrişimler, ham sesi üretmek için bir yığın nedensel genişletilmiş evrişim kullanan WaveNet (van den Oord ve ark., 2016) tarafından popülerleştirildi. Bai, Kolter ve Koltun (2018), fikri Zamansal Evrişimli Ağ'a genelleştirdi ve bu tür evrişimli mimarilerin geniş bir dizi modelleme görevi yelpazesinde tekrarlayan ağlarla genellikle eşleştiğini veya onları geride bıraktığını ampirik olarak gösterdi.
Ne zaman kullanılır?
Uzun menzilli bağımlılıkların önemli olduğu ve en az birkaç yüz gözleminizin olduğu sürekli, sıralı zaman serisi verileri üzerinde tahmin veya öngörü için Genişletilmiş bir CNN kullanın. Normal dağılımlı verileri varsaymaz, ancak sıralı verilere ihtiyaç duyar, bir GPU'dan güçlü bir şekilde yararlanır ve alıcı alan boyutu göreve uygun olmalıdır. Yaklaşık 500 gözlemin altında aşırı uyum eğilimindedir ve kabaca 100'ün altında derin bir evrişimli modelin eğitilmeye değmez.
Sınırlar ve dikkat edilmesi gerekenler
- Oldukça büyük bir eğitim seti gerektirir — n yaklaşık 500'ün altına düştüğünde aşırı uyum sağlar.
- Pratik eğitim için etkili bir şekilde bir GPU gereklidir.
- Alıcı alan boyutu göreve göre ayarlanmalıdır; çok küçük bir alan uzun bağımlılıkları kaçırır.
- Derin evrişimli dizi eğitimi çok kısa dizilerde (n yaklaşık 100'ün altında) anlamlı değildir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Alıcı alan derinlikle üstel olarak büyür, az sayıda katmanla uzun menzilli bağımlılıkları yakalar.
- Evrişimler iyi paralelleşir, uzun dizilerde tekrarlayan ağlardan daha hızlı eğitilir.
- Normalite varsayımı yok; sürekli sıralı sinyaller üzerinde doğrudan çalışır.
- WaveNet ham ses üretiminden genel TCN dizi modellemesine kadar zorlu görevlerde kanıtlanmıştır.
Uygulama alanları
- Uzun menzilli bağımlılıkların önemli olduğu zaman serisi tahmini.
- WaveNet'teki gibi ham ses üretimi ve modellemesi.
- Tekrarlayan ağlara alternatif olarak genel dizi modellemesi (TCN).
- Uzun sürekli dizilerde sinyal tahmini görevleri.
Nasıl çalışır?
Nasıl çalışır?
Evrişim filtreleri, bir sonraki katmandan itibaren büyüyen (tipik olarak 1, 2, 4, 8, ...) bir genişletme oranıyla uygulanır. Her filtrenin hala yalnızca birkaç ağırlığı vardır, ancak dokunduğu girdiler arasındaki boşluklar derinlikle genişler, böylece model, boyutu patlamadan hem kısa vadeli ayrıntıları hem de uzun vadeli bağımlılıkları yakalar.
Genişletmenin her katmanda ikiye katlanması nedeniyle, alıcı alan derinlikle üstel olarak genişler: çekirdek boyutu k olan L katmanlı bir yığın, yalnızca birkaç katmanla binden fazla geçmiş adıma bakabilir. Alıcı alan boyutu, görevin aslında gerektirdiği ufka göre ayarlanmalıdır.
Formül
r = 1 + (k-1)\sum_{l} d_lYığınlanmış genişletilmiş evrişimler, her konum için tahmini yayan son bir katmana beslenir — bir tahminde bir sonraki değer veya bir dizi adımı için etiket. Aynı mimari, WaveNet'in ham ses üretiminin ve TCN'nin genel dizi modellemesinin temelini oluşturur.
Sık yapılan hatalar
- Uzun menzilli bağımlılıkların hiçbir zaman görülmemesi için alıcı alanın çok küçük ayarlanması.
- Modelin aşırı uyum sağladığı veya öğrenmenin anlamsız olduğu kısa bir dizi üzerinde eğitim.
- Uzun dizilerde GPU olmadan kullanılabilir sonuçlar beklemek.
- Çok az veriyle ağaç topluluğu gibi daha basit bir modelin daha güvenli bir seçim olduğunu göz ardı etmek.
Sık sorulan sorular
Neden sadece daha derin bir ağ yerine genişletme?
Genişletme, alıcı alanın derinlikle doğrusal yerine üstel olarak büyümesine izin verir, bu nedenle birkaç katman, parametre sayısını ve hesaplamayı makul tutarken binlerce geçmiş adıma ulaşabilir.
Tekrarlayan ağlarla nasıl karşılaştırılır?
Bai, Kolter ve Koltun (2018), TCN gibi evrişimli mimarilerin dizi görevlerinde tekrarlayan ağlarla genellikle eşleştiğini veya onları geçtiğini ve evrişimler zaman içinde paralelleştiği için daha hızlı eğitildiklerini buldu.
Ne kadar veriye ihtiyacım var?
En az birkaç yüz sıralı gözlem planlayın. Yaklaşık 500'ün altında model aşırı uyum sağlama eğilimindedir ve kabaca 100'ün altında derin bir evrişimli model eğitmek değmez — ağaç tabanlı bir model daha güvenlidir.
GPU'ya ihtiyacım var mı?
Bir GPU şiddetle tavsiye edilir; onsuz, uzun diziler üzerinde eğitim pratik olarak yavaşlar.
İlgili yöntemler
Kaynaklar
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Yayın kaynağını açKopyalandı.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Yayın kaynağını açKopyalandı.