Сверточная нейронная сеть с дилатацией
- Автор метода
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Год
- 2016
- Тип
- Deep learning (dilated 1D convolutional network)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Сверточная нейронная сеть с дилатацией (Dilated CNN) — это одномерная сверточная сеть, рецептивное поле которой экспоненциально растет с глубиной, что позволяет ей моделировать долгосрочные структуры во временных рядах и аудиосигналах. prominent members of this family.
Интуиция метода
Обычные свертки смотрят лишь на несколько шагов назад, поэтому для охвата далекого прошлого потребовался бы очень глубокий стек. Дилатированная свертка вместо этого пропускает входы с шагом, который удваивается слой за слоем, так что каждый добавленный слой примерно удваивает дальность видения сети. Несколько слоев могут поэтому охватывать тысячи временных шагов, сохраняя при этом скромное количество параметров.
История
Дилатированные свертки для последовательностей были популяризированы WaveNet (van den Oord et al., 2016), которая использовала стек причинных дилатированных сверток для генерации необработанного аудио. Bai, Kolter и Koltun (2018) обобщили эту идею в Temporal Convolutional Network (TCN) и эмпирически показали, что такие сверточные архитектуры часто соответствуют или превосходят рекуррентные сети в широком диапазоне задач моделирования последовательностей.
Когда применять
Используйте Dilated CNN для прогнозирования или предсказания на непрерывных, последовательных данных временных рядов, когда важны долгосрочные зависимости и у вас есть по крайней мере несколько сотен наблюдений. Она не предполагает нормально распределенных данных, но требует последовательных данных, сильно выигрывает от использования GPU, и размер рецептивного поля должен соответствовать задаче. При количестве наблюдений менее 500 она склонна к переобучению, а при количестве менее 100 глубокая сверточная модель не стоит обучения.
Ограничения и замечания
- Требуется довольно большой обучающий набор — переобучается при n менее примерно 500.
- GPU фактически необходим для практического обучения.
- Размер рецептивного поля должен быть настроен под задачу; слишком маленькое поле упускает долгосрочные зависимости.
- Обучение глубоких сверточных последовательностей не имеет смысла на очень коротких рядах (n менее примерно 100).
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Рецептивное поле экспоненциально растет с глубиной, улавливая долгосрочные зависимости с помощью небольшого количества слоев.
- Свертки хорошо распараллеливаются, обучаясь быстрее рекуррентных сетей на длинных последовательностях.
- Отсутствие предположения о нормальности; работает непосредственно с непрерывными последовательными сигналами.
- Проверено на сложных задачах, от генерации необработанного аудио WaveNet до общего моделирования последовательностей TCN.
Применение
- Прогнозирование временных рядов, где важны долгосрочные зависимости.
- Генерация и моделирование необработанного аудио, как в WaveNet.
- Общее моделирование последовательностей как альтернатива рекуррентным сетям (TCN).
- Задачи предсказания сигналов на длинных непрерывных последовательностях.
Как это работает
Как это работает
Сверточные фильтры применяются с коэффициентом дилатации, который растет (обычно 1, 2, 4, 8, ...) от одного слоя к следующему. Каждый фильтр по-прежнему имеет лишь несколько весов, но промежутки между входными данными, которые он затрагивает, увеличиваются с глубиной, поэтому модель улавливает как краткосрочные детали, так и долгосрочные зависимости без взрывного роста размера.
Поскольку дилатация удваивается на каждом слое, рецептивное поле экспоненциально расширяется с глубиной: стек из L слоев с размером ядра k может охватывать порядка тысячи прошлых шагов всего лишь несколькими слоями. Размер рецептивного поля должен быть настроен на горизонт, который фактически требуется задачей.
Формула
r = 1 + (k-1)\sum_{l} d_lСложенные дилатированные свертки подаются на финальный слой, который выдает предсказание для каждой позиции — следующее значение в прогнозе или метку для шага последовательности. Та же архитектура лежит в основе генерации необработанного аудио WaveNet и общего моделирования последовательностей Temporal Convolutional Network (TCN).
Частые ошибки
- Установка слишком маленького рецептивного поля, так что долгосрочные зависимости никогда не видны.
- Обучение на коротком ряду, где модель переобучается или обучение бессмысленно.
- Ожидание пригодных результатов без GPU на длинных последовательностях.
- Игнорирование того, что при очень малом количестве данных более простая модель, такая как ансамбль деревьев, является более безопасным выбором.
Часто задаваемые вопросы
Почему дилатация вместо просто более глубокой сети?
Дилатация позволяет рецептивному полю расти экспоненциально, а не линейно с глубиной, поэтому несколько слоев могут достигать тысяч прошлых шагов, сохраняя при этом скромное количество параметров и вычислений.
Как она сравнивается с рекуррентными сетями?
Bai, Kolter и Koltun (2018) обнаружили, что сверточные архитектуры, такие как TCN, часто соответствуют рекуррентным сетям или превосходят их в задачах моделирования последовательностей, и они обучаются быстрее, поскольку свертки распараллеливаются по времени.
Сколько данных мне нужно?
Планируйте как минимум несколько сотен последовательных наблюдений. При количестве менее 500 модель склонна к переобучению, а при количестве менее 100 обучение глубокой сверточной модели нецелесообразно — древовидная модель безопаснее.
Нужен ли мне GPU?
GPU настоятельно рекомендуется; без него обучение на длинных последовательностях становится непрактично медленным.
Похожие методы
Источники
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Открыть ссылку на публикациюСкопировано.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Открыть ссылку на публикациюСкопировано.