Dilated CNN
- 提唱者
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- 年
- 2016
- 種類
- Deep learning (dilated 1D convolutional network)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Dilated CNNは、深さとともに受容野が指数関数的に増大する1次元畳み込みネットワークであり、時系列データや音声信号における長距離構造のモデリングを可能にします。WaveNet (van den Oord et al., 2016) および Bai, Kolter, Koltun (2018) によるTemporal Convolutional Network (TCN) が、このファミリーの代表的なメンバーです。
手法の背後にある直感
通常の畳み込みは数ステップしか過去を見ないため、過去の遠い時点に到達するには非常に深いスタックが必要です。一方、拡張畳み込みは、レイヤーごとに倍増するギャップで入力をスキップするため、追加される各レイヤーによってネットワークが見ることのできる過去の範囲がほぼ倍増します。したがって、わずかなレイヤー数で、パラメータ数を抑えつつ数千ステップをカバーできます。
歴史学
シーケンスに対する拡張畳み込みは、生音声を生成するために因果的拡張畳み込みのスタックを使用したWaveNet (van den Oord et al., 2016) によって普及しました。Bai, Kolter, Koltun (2018) は、このアイデアをTemporal Convolutional Network (TCN) に一般化し、そのような畳み込みアーキテクチャが、幅広いシーケンスモデリングタスクにおいてリカレントネットワークと同等またはそれ以上の性能を発揮することが多いことを経験的に示しました。
使うべき場面
長距離依存関係が重要であり、少なくとも数百の観測値がある連続的な時系列データに対する予測や予想にDilated CNNを使用してください。正規分布データを仮定しませんが、シーケンシャルデータが必要であり、GPUから強く恩恵を受け、受容野のサイズはタスクに合わせる必要があります。約500未満の観測値では過学習する傾向があり、約100未満では深い畳み込みモデルを訓練する価値はありません。
限界と注意点
- かなりの量のトレーニングセットが必要。nが約500未満で過学習する。
- 実用的なトレーニングにはGPUが実質的に必要。
- 受容野のサイズはタスクに合わせて調整する必要がある。小さすぎると長距離依存関係を見逃す。
- 深い畳み込みシーケンスのトレーニングは、非常に短い系列(nが約100未満)では意味がない。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 受容野は深さと共に指数関数的に増大し、少ないレイヤーで長距離依存関係を捉える。
- 畳み込みは並列化が容易で、長いシーケンスではリカレントネットワークよりも高速に学習する。
- 正規性の仮定なし。連続的なシーケンシャル信号に直接作用する。
- WaveNetの生音声生成から一般的なTCNシーケンスモデリングまで、要求の厳しいタスクで実績がある。
応用
- 長距離依存関係が重要な時系列予測。
- WaveNetのような生音声生成とモデリング。
- リカレントネットワーク(TCN)の代替としての一般的なシーケンスモデリング。
- 長い連続シーケンスに対する信号予測タスク。
使い方
使い方
畳み込みフィルタは、レイヤーごとに(通常は1, 2, 4, 8, ...と)増大する拡張率で適用されます。各フィルタは依然として少数の重みしか持ちませんが、深くなるにつれてフィルタが触れる入力間のギャップが広がるため、モデルはサイズを爆発させることなく、短期的な詳細と長期的な依存関係の両方を捉えます。
拡張率が各レイヤーで倍増するため、受容野は深さとともに指数関数的に拡大します。カーネルサイズkのL個のレイヤーのスタックは、わずかなレイヤー数で数千ステップの過去に相当する範囲を認識できます。受容野のサイズは、タスクが実際に必要とするホライズンに合わせて調整する必要があります。
数式
r = 1 + (k-1)\sum_{l} d_lスタックされた拡張畳み込みは、最終レイヤーに供給され、各位置の予測(予測における次の値やシーケンスステップのラベル)を出力します。WaveNetの生音声生成とTCNの一般的なシーケンスモデリングは、同じアーキテクチャに基づいています。
よくある落とし穴
- 長距離依存関係が決して見られないほど受容野を小さく設定すること。
- モデルが過学習するか学習が無意味になる短い系列でのトレーニング。
- GPUなしで有用な結果を期待すること(長いシーケンスの場合)。
- データが非常に少ない場合、ツリーアンサンブルのような単純なモデルの方が安全な選択肢であることを無視すること。
よくある質問
なぜ深いネットワークではなく拡張を使うのか?
拡張により、深さとともに受容野が線形ではなく指数関数的に増大するため、わずかなレイヤーで数千ステップに到達でき、パラメータ数と計算量を抑えることができる。
リカレントネットワークと比較してどうですか?
Bai, Kolter, Koltun (2018) は、TCNのような畳み込みアーキテクチャがシーケンスタスクにおいてリカレントネットワークと同等またはそれ以上の性能を発揮することが多く、畳み込みは時間方向に並列化できるため、学習が速いことを発見しました。
どのくらいのデータが必要ですか?
少なくとも数百のシーケンシャル観測値を計画してください。約500未満ではモデルは過学習する傾向があり、約100未満では深い畳み込みモデルのトレーニングは価値がありません。ツリーベースのモデルの方が安全です。
GPUは必要ですか?
GPUを強く推奨します。GPUがない場合、長いシーケンスでのトレーニングは実用的でないほど遅くなります。