CNN Dilatata
- Introdotto da
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Anno
- 2016
- Tipo
- Deep learning (dilated 1D convolutional network)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Una CNN dilatata è una rete convoluzionale unidimensionale il cui campo recettivo cresce esponenzialmente con la profondità, permettendole di modellare strutture a lungo raggio in serie temporali e segnali audio.
WaveNet (van den Oord et al., 2016) e la Temporal Convolutional Network di Bai, Kolter e Koltun (2018) sono i membri più noti di questa famiglia.
L’intuizione alla base del metodo
Le convoluzioni ordinarie guardano solo pochi passi indietro, quindi raggiungere lontano nel passato richiederebbe uno stack molto profondo. Una convoluzione dilatata, invece, salta sugli input con un intervallo che raddoppia strato per strato, così ogni strato aggiunto raddoppia approssimativamente la distanza retrospettiva che la rete può vedere. Una manciata di strati può quindi coprire migliaia di passi temporali mantenendo modesto il numero di parametri.
Storia
Le convoluzioni dilatate per sequenze sono state rese popolari da WaveNet (van den Oord et al., 2016), che ha utilizzato uno stack di convoluzioni dilatate causali per generare audio grezzo. Bai, Kolter e Koltun (2018) hanno generalizzato l'idea nella Temporal Convolutional Network e hanno dimostrato empiricamente che tali architetture convoluzionali spesso eguagliano o superano le reti ricorrenti su un'ampia gamma di compiti di modellazione di sequenze.
Quando usarlo
Utilizzare una CNN Dilatata per previsioni o predizioni su dati di serie temporali continui e sequenziali quando le dipendenze a lungo raggio sono importanti e si dispone di almeno qualche centinaio di osservazioni. Non assume dati distribuiti normalmente, ma necessita di dati sequenziali, beneficia fortemente di una GPU, e la dimensione del campo recettivo dovrebbe essere adeguata al compito. Al di sotto di circa 500 osservazioni tende all'overfitting, e al di sotto di circa 100 uno stack convoluzionale profondo non vale la pena di essere addestrato.
Limiti e considerazioni
- Richiede un set di addestramento abbastanza ampio — va in overfitting quando n è inferiore a circa 500.
- Una GPU è effettivamente richiesta per un addestramento pratico.
- La dimensione del campo recettivo deve essere adattata al compito; un campo troppo piccolo perde le dipendenze a lungo raggio.
- L'addestramento di sequenze convoluzionali profonde non è significativo su serie molto corte (n inferiore a circa 100).
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Il campo recettivo cresce esponenzialmente con la profondità, catturando dipendenze a lungo raggio con pochi strati.
- Le convoluzioni parallelizzano bene, addestrandosi più velocemente delle reti ricorrenti su sequenze lunghe.
- Nessuna assunzione di normalità; funziona direttamente su segnali sequenziali continui.
- Dimostrato su compiti impegnativi, dalla generazione audio grezza di WaveNet alla modellazione generale di sequenze TCN.
Applicazioni
- Previsione di serie temporali dove le dipendenze a lungo raggio sono importanti.
- Generazione e modellazione di audio grezzo, come in WaveNet.
- Modellazione generale di sequenze come alternativa alle reti ricorrenti (TCN).
- Compiti di predizione di segnali su lunghe sequenze continue.
Come funziona
Come funziona
I filtri convoluzionali vengono applicati con un tasso di dilatazione che cresce (tipicamente 1, 2, 4, 8, ...) da uno strato al successivo. Ogni filtro ha ancora solo pochi pesi, ma gli intervalli tra gli input che tocca si allargano con la profondità, così il modello cattura sia dettagli a breve termine che dipendenze a lungo termine senza esplodere in termini di dimensioni.
Poiché la dilatazione raddoppia ad ogni strato, il campo recettivo si espande esponenzialmente con la profondità: uno stack di L strati con dimensione del kernel k può osservare circa mille passi passati con solo una manciata di strati. La dimensione del campo recettivo deve essere adattata all'orizzonte effettivamente richiesto dal compito.
Formula
r = 1 + (k-1)\sum_{l} d_lConvoluzioni dilatate impilate alimentano uno strato finale che emette la predizione per ogni posizione — il valore successivo in una previsione o l'etichetta per un passo della sequenza. La stessa architettura è alla base della generazione audio grezza di WaveNet e della modellazione generale di sequenze di TCN.
Errori comuni
- Impostare il campo recettivo troppo piccolo in modo che le dipendenze a lungo raggio non vengano mai viste.
- Addestrare su una serie corta dove il modello va in overfitting o l'apprendimento è privo di significato.
- Aspettarsi risultati utilizzabili senza una GPU su sequenze lunghe.
- Ignorare che con pochissimi dati un modello più semplice come un ensemble di alberi è la scelta più sicura.
Domande frequenti
Perché la dilatazione invece di una rete semplicemente più profonda?
La dilatazione permette al campo recettivo di crescere esponenzialmente anziché linearmente con la profondità, così pochi strati possono raggiungere migliaia di passi passati mantenendo modesti il numero di parametri e il calcolo.
Come si confronta con le reti ricorrenti?
Bai, Kolter e Koltun (2018) hanno scoperto che architetture convoluzionali come la TCN spesso eguagliano o superano le reti ricorrenti nei compiti di sequenza, e si addestrano più velocemente perché le convoluzioni parallelizzano attraverso il tempo.
Quanti dati sono necessari?
Prevedere almeno qualche centinaio di osservazioni sequenziali. Al di sotto di circa 500 il modello tende all'overfitting, e al di sotto di circa 100 l'addestramento di un modello convoluzionale profondo non è conveniente — un modello basato su alberi è più sicuro.
È necessaria una GPU?
Una GPU è fortemente raccomandata; senza di essa, l'addestramento su sequenze lunghe diventa impraticabilmente lento.
Metodi correlati
Fonti
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Apri il riferimento della pubblicazioneCopiato.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Apri il riferimento della pubblicazioneCopiato.