Zum Inhalt springen
Zurück zu den Suchergebnissen

Das Dilatierte CNN

Eingeführt von
van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
Jahr
2016
Typ
Deep learning (dilated 1D convolutional network)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Dilatiertes CNN ist ein eindimensionales Faltungsnetzwerk, dessen rezeptives Feld exponentiell mit der Tiefe wächst, wodurch es in der Lage ist, Langzeitstrukturen in Zeitreihen und Audiosignalen zu modellieren.

WaveNet (van den Oord et al., 2016) und das Temporal Convolutional Network von Bai, Kolter und Koltun (2018) sind die prominentesten Vertreter dieser Familie.

Die Intuition hinter der Methode

Gewöhnliche Faltungen betrachten nur wenige Schritte zurück, sodass das Erreichen weit in die Vergangenheit eine sehr tiefe Schicht erfordern würde. Eine dilatierte Faltung überspringt stattdessen Eingaben mit einer Lücke, die sich Schicht für Schicht verdoppelt, sodass jede hinzugefügte Schicht die Reichweite des Netzwerks in die Vergangenheit ungefähr verdoppelt. Eine Handvoll Schichten kann daher Tausende von Zeitschritte abdecken, während die Anzahl der Parameter moderat bleibt.

Geschichte

Dilatierte Faltungen für Sequenzen wurden durch WaveNet (van den Oord et al., 2016) populär gemacht, das einen Stapel kausaler dilatierter Faltungen zur Generierung von Rohaudio verwendete. Bai, Kolter und Koltun (2018) verallgemeinerten die Idee zum Temporal Convolutional Network und zeigten empirisch, dass solche Faltungsarchitekturen rekurrente Netzwerke bei einer breiten Palette von Sequenzmodellierungsaufgaben oft erreichen oder übertreffen.

Wann wird sie eingesetzt?

Verwenden Sie ein Dilatiertes CNN für die Prognose oder Vorhersage von kontinuierlichen, sequenziellen Zeitreihendaten, wenn Langzeitabhängigkeiten wichtig sind und Sie mindestens einige hundert Beobachtungen haben. Es setzt keine normalverteilten Daten voraus, benötigt aber sequentielle Daten, profitiert stark von einer GPU, und die Größe des rezeptiven Feldes sollte an die Aufgabe angepasst werden. Unter etwa 500 Beobachtungen neigt es zum Overfitting, und unter etwa 100 lohnt sich das Training eines tiefen Faltungsmodells nicht.

Grenzen und Hinweise

  • Benötigt einen ziemlich großen Trainingsdatensatz – neigt zu Overfitting, wenn n unter etwa 500 liegt.
  • Eine GPU ist für praktisches Training effektiv erforderlich.
  • Die Größe des rezeptiven Feldes muss an die Aufgabe angepasst werden; ein zu kleines Feld übersieht lange Abhängigkeiten.
  • Das Training tiefer Faltungssequenzmodelle ist bei sehr kurzen Reihen (n unter etwa 100) nicht sinnvoll.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Das rezeptive Feld wächst exponentiell mit der Tiefe und erfasst Langzeitabhängigkeiten mit wenigen Schichten.
  • Faltungen lassen sich gut parallelisieren und trainieren schneller als rekurrente Netzwerke bei langen Sequenzen.
  • Keine Normalitätsannahme; arbeitet direkt mit kontinuierlichen sequenziellen Signalen.
  • Bewährt bei anspruchsvollen Aufgaben, von der WaveNet-Rohaudio-Generierung bis zur allgemeinen TCN-Sequenzmodellierung.

Anwendungen

  • Zeitreihenprognose, bei der Langzeitabhängigkeiten wichtig sind.
  • Rohaudio-Generierung und -Modellierung, wie in WaveNet.
  • Allgemeine Sequenzmodellierung als Alternative zu rekurrenten Netzwerken (TCN).
  • Signalvorhersageaufgaben bei langen kontinuierlichen Sequenzen.

So funktioniert es

So funktioniert es

1

Faltungsfilter werden mit einer Dilatationsrate angewendet, die (typischerweise 1, 2, 4, 8, ...) von einer Schicht zur nächsten wächst. Jeder Filter hat immer noch nur wenige Gewichte, aber die Lücken zwischen den Eingaben, die er berührt, erweitern sich mit der Tiefe, sodass das Modell sowohl kurzfristige Details als auch langfristige Abhängigkeiten erfasst, ohne in der Größe zu explodieren.

2

Da sich die Dilatation in jeder Schicht verdoppelt, erweitert sich das rezeptive Feld exponentiell mit der Tiefe: Ein Stapel von L Schichten mit Kernelgröße k kann mit nur einer Handvoll Schichten auf die Größenordnung von Tausenden vergangener Schritte zugreifen. Die Größe des rezeptiven Feldes muss an den Horizont angepasst werden, den die Aufgabe tatsächlich erfordert.

Formel
r = 1 + (k-1)\sum_{l} d_l
3

Gestapelte dilatierte Faltungen speisen eine letzte Schicht, die die Vorhersage für jede Position ausgibt – den nächsten Wert in einer Prognose oder das Label für einen Sequenzschritt. Dieselbe Architektur liegt der Rohaudio-Generierung von WaveNet und der allgemeinen Sequenzmodellierung des TCN zugrunde.

Häufige Fallstricke

  • Das rezeptive Feld zu klein einzustellen, sodass Langzeitabhängigkeiten nie gesehen werden.
  • Training an einer kurzen Reihe, bei der das Modell überangepasst wird oder das Lernen bedeutungslos ist.
  • Erwarten brauchbarer Ergebnisse ohne GPU bei langen Sequenzen.
  • Ignorieren, dass bei sehr wenigen Daten ein einfacheres Modell wie ein Baumensemble die sicherere Wahl ist.

Häufig gestellte Fragen

Warum Dilatation statt nur eines tieferen Netzwerks?

Dilatation lässt das rezeptive Feld exponentiell statt linear mit der Tiefe wachsen, sodass wenige Schichten Tausende vergangener Schritte erreichen können, während die Parameteranzahl und der Rechenaufwand moderat bleiben.

Wie vergleicht es sich mit rekurrenten Netzwerken?

Bai, Kolter und Koltun (2018) fanden heraus, dass Faltungsarchitekturen wie das TCN rekurrente Netzwerke bei Sequenzaufgaben oft erreichen oder übertreffen, und sie trainieren schneller, da Faltungen über die Zeit parallelisiert werden können.

Wie viele Daten benötige ich?

Planen Sie mindestens einige hundert sequentielle Beobachtungen ein. Unter etwa 500 neigt das Modell zum Overfitting, und unter etwa 100 ist das Training eines tiefen Faltungsmodells nicht lohnenswert – ein baumbasiertes Modell ist sicherer.

Benötige ich eine GPU?

Eine GPU wird dringend empfohlen; ohne sie wird das Training bei langen Sequenzen unpraktisch langsam.

Verwandte Methoden

Quellen

  1. van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.

    Publikationsreferenz öffnen
    Kopiert.
  2. Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.

    Publikationsreferenz öffnen
    Kopiert.