Skip to content
返回搜索结果

Dilated CNN

提出者
van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
年份
2016
类型
Deep learning (dilated 1D convolutional network)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Dilated CNN 是一种一维卷积网络,其感受野随深度呈指数增长,能够对时间序列和音频信号中的长程结构进行建模。WaveNet (van den Oord et al., 2016) 和 Bai, Kolter and Koltun (2018) 的 Temporal Convolutional Network 是该家族的杰出代表。

方法背后的直觉

普通卷积只能回顾几个时间步,因此需要非常深的堆叠才能触及过去很远的时间点。而扩张卷积则以逐层加倍的间隔跳过输入,因此每增加一层,网络能够看到的回溯深度大约翻倍。少量层就可以覆盖数千个时间步,同时保持参数数量适中。

历史学

Dilated 卷积用于序列是由 WaveNet (van den Oord et al., 2016) 推向普及的,它使用因果扩张卷积的堆叠来生成原始音频。Bai, Kolter and Koltun (2018) 将该思想推广为 Temporal Convolutional Network,并从经验上证明了这类卷积架构在广泛的序列建模任务上通常能与循环网络相媲美或超越它们。

何时使用

当长程依赖关系很重要且您拥有至少几百个观测值时,请将 Dilated CNN 用于连续、序列化时间序列数据的预测或预报。它不假设数据服从正态分布,但它需要序列化数据,强烈受益于 GPU,并且感受野大小应与任务相匹配。在低于约 500 个观测值时,它倾向于过拟合,而在低于约 100 个观测值时,训练深度卷积模型是不值得的。

局限与注意事项

  • 需要相当大的训练集——当 n 低于约 500 时会过拟合。
  • 实际训练基本上需要 GPU。
  • 感受野大小必须根据任务进行调整;场域太小会错过长程依赖关系。
  • 在非常短的序列(n 低于约 100)上进行深度卷积序列训练没有意义。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 感受野随深度呈指数增长,用少量层捕捉长程依赖关系。
  • 卷积具有良好的并行性,在长序列上的训练速度比循环网络快。
  • 无正态性假设;直接处理连续序列信号。
  • 在要求苛刻的任务上已得到验证,从 WaveNet 原始音频生成到通用 TCN 序列建模。

应用

  • 需要长程依赖关系的时间序列预测。
  • 原始音频生成和建模,如 WaveNet。
  • 作为循环网络的替代方案的通用序列建模 (TCN)。
  • 长连续序列上的信号预测任务。

使用方式

使用方式

1

卷积滤波器以逐层增长(通常为 1, 2, 4, 8, ...)的扩张率进行应用。每个滤波器仍然只有几个权重,但它接触的输入之间的间隔随着深度而加宽,因此模型可以在不显著增加模型规模的情况下捕捉短期细节和长期依赖关系。

2

由于扩张率在每层都会翻倍,感受野随深度呈指数增长:具有核大小 k 的 L 层堆叠可以关注大约一千个过去的时间步,而只需少量层。感受野大小必须根据任务实际需要的预测范围进行调整。

公式
r = 1 + (k-1)\sum_{l} d_l
3

堆叠的扩张卷积会馈送到最终层,该层为每个位置发出预测——预测序列中的下一个值或序列步的标签。WaveNet 的原始音频生成和 TCN 的通用序列建模都基于相同的架构。

常见陷阱

  • 设置过小的感受野,导致长程依赖关系从未被看到。
  • 在短序列上进行训练,模型过拟合或学习无意义。
  • 在没有 GPU 的情况下期望对长序列获得可用结果。
  • 忽略了在数据量很少的情况下,像树集成这样的简单模型是更安全的选择。

常见问题

为什么选择扩张而不是仅仅加深网络?

扩张使感受野随深度呈指数增长而非线性增长,因此少量层可以触及数千个过去的时间步,同时保持参数数量和计算量适中。

它与循环网络相比如何?

Bai, Kolter and Koltun (2018) 发现,像 TCN 这样的卷积架构在序列任务上通常能与循环网络相媲美或超越它们,并且由于卷积可以跨时间并行计算,它们的训练速度更快。

我需要多少数据?

至少需要几百个序列观测值。低于约 500 时模型倾向于过拟合,而低于约 100 时训练深度卷积模型不值得——基于树的模型更安全。

我需要 GPU 吗?

强烈推荐使用 GPU;没有 GPU,在长序列上的训练会变得慢到不切实际。

相关方法

参考文献

  1. van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.

    打开出版物文献
    已复制。
  2. Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.

    打开出版物文献
    已复制。