Splotowa sieć konwolucyjna z rozszerzeniem (Dilated CNN)
- Autor metody
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Rok
- 2016
- Typ
- Deep learning (dilated 1D convolutional network)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Splotowa sieć konwolucyjna z rozszerzeniem (Dilated CNN) to jednowymiarowa sieć konwolucyjna, której pole recepcyjne rośnie wykładniczo wraz z głębokością, co pozwala modelować długoterminowe struktury w szeregach czasowych i sygnałach audio.
WaveNet (van den Oord i in., 2016) oraz Temporal Convolutional Network (TCN) Bai, Koltera i Koltuna (2018) to czołowi przedstawiciele tej rodziny.
Intuicja stojąca za metodą
Zwykłe sploty analizują tylko kilka kroków wstecz, więc dotarcie daleko w przeszłość wymagałoby bardzo głębokiej warstwy. Rozszerzony splot zamiast tego pomija dane wejściowe z odstępem, który podwaja się warstwa po warstwie, więc każda dodana warstwa mniej więcej podwaja zasięg widzenia sieci. Kilka warstw może zatem objąć tysiące kroków czasowych, zachowując umiarkowaną liczbę parametrów.
Historia
Rozszerzone sploty dla sekwencji zostały spopularyzowane przez WaveNet (van den Oord i in., 2016), który używał stosu przyczynowych rozszerzonych splotów do generowania surowego dźwięku. Bai, Kolter i Koltun (2018) uogólnili tę ideę na Temporal Convolutional Network (TCN) i empirycznie pokazali, że takie architektury konwolucyjne często dorównują lub przewyższają sieci rekurencyjne w szerokim zakresie zadań modelowania sekwencji.
Kiedy stosować
Użyj splotowej sieci konwolucyjnej z rozszerzeniem (Dilated CNN) do prognozowania lub przewidywania na ciągłych, sekwencyjnych danych szeregów czasowych, gdy ważne są długoterminowe zależności i masz co najmniej kilkaset obserwacji. Nie zakłada ona normalnego rozkładu danych, ale wymaga danych sekwencyjnych, silnie korzysta z GPU, a rozmiar pola recepcyjnego powinien być dopasowany do zadania. Poniżej około 500 obserwacji ma tendencję do przeuczenia, a poniżej około 100 głęboki model konwolucyjny nie jest wart trenowania.
Ograniczenia i uwagi
- Wymaga dość dużego zbioru treningowego – przeucza się, gdy n jest poniżej około 500.
- GPU jest praktycznie wymagane do praktycznego treningu.
- Rozmiar pola recepcyjnego musi być dostosowany do zadania; zbyt małe pole pomija długoterminowe zależności.
- Głębokie trenowanie sekwencji konwolucyjnych nie ma sensu na bardzo krótkich sekwencjach (n poniżej około 100).
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Pole recepcyjne rośnie wykładniczo wraz z głębokością, wychwytując długoterminowe zależności przy niewielkiej liczbie warstw.
- Sploty dobrze się paralelizują, trenując szybciej niż sieci rekurencyjne na długich sekwencjach.
- Brak założeń o normalności; działa bezpośrednio na ciągłych sygnałach sekwencyjnych.
- Sprawdzone w wymagających zadaniach, od generowania surowego dźwięku przez WaveNet po ogólne modelowanie sekwencji TCN.
Zastosowania
- Prognozowanie szeregów czasowych, gdzie ważne są długoterminowe zależności.
- Generowanie i modelowanie surowego dźwięku, jak w WaveNet.
- Ogólne modelowanie sekwencji jako alternatywa dla sieci rekurencyjnych (TCN).
- Zadania przewidywania sygnałów na długich, ciągłych sekwencjach.
Jak to działa
Jak to działa
Filtry splotowe są stosowane ze współczynnikiem rozszerzenia, który rośnie (zazwyczaj 1, 2, 4, 8, ...) z jednej warstwy do następnej. Każdy filtr ma nadal tylko kilka wag, ale odstępy między danymi wejściowymi, które analizuje, zwiększają się wraz z głębokością, dzięki czemu model wychwytuje zarówno krótkoterminowe szczegóły, jak i długoterminowe zależności, nie zwiększając nadmiernie rozmiaru.
Ponieważ rozszerzenie podwaja się na każdej warstwie, pole recepcyjne rośnie wykładniczo wraz z głębokością: stos L warstw o rozmiarze jądra k może analizować rzędu tysiąca przeszłych kroków przy zaledwie kilku warstwach. Rozmiar pola recepcyjnego musi być dostosowany do horyzontu czasowego, którego wymaga zadanie.
Wzór
r = 1 + (k-1)\sum_{l} d_lUłożone warstwowo rozszerzone sploty podają dane do ostatniej warstwy, która generuje prognozę dla każdej pozycji – następną wartość w prognozie lub etykietę dla kroku sekwencji. Ta sama architektura leży u podstaw generowania surowego dźwięku przez WaveNet i ogólnego modelowania sekwencji przez TCN.
Częste pułapki
- Ustawienie zbyt małego pola recepcyjnego, przez co długoterminowe zależności nigdy nie są widziane.
- Trenowanie na krótkiej sekwencji, gdzie model się przeucza lub uczenie jest bezcelowe.
- Oczekiwanie użytecznych wyników bez GPU na długich sekwencjach.
- Ignorowanie faktu, że przy bardzo małej ilości danych prostszy model, taki jak zespół drzew, jest bezpieczniejszym wyborem.
Najczęściej zadawane pytania
Dlaczego rozszerzenie zamiast po prostu głębszej sieci?
Rozszerzenie pozwala na wykładniczy, a nie liniowy wzrost pola recepcyjnego wraz z głębokością, dzięki czemu kilka warstw może sięgnąć tysięcy przeszłych kroków, zachowując umiarkowaną liczbę parametrów i obliczeń.
Jak to się ma do sieci rekurencyjnych?
Bai, Kolter i Koltun (2018) stwierdzili, że architektury konwolucyjne, takie jak TCN, często dorównują lub przewyższają sieci rekurencyjne w zadaniach sekwencyjnych, a także trenują szybciej, ponieważ sploty można paralelizować w czasie.
Ile danych potrzebuję?
Należy przewidzieć co najmniej kilkaset obserwacji sekwencyjnych. Poniżej około 500 model ma tendencję do przeuczenia, a poniżej około 100 trenowanie głębokiego modelu konwolucyjnego nie jest opłacalne – model oparty na drzewach jest bezpieczniejszy.
Czy potrzebuję GPU?
GPU jest zdecydowanie zalecane; bez niego trenowanie na długich sekwencjach staje się niepraktycznie powolne.
Pokrewne metody
Źródła
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Otwórz odnośnik do publikacjiSkopiowano.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Otwórz odnośnik do publikacjiSkopiowano.