CNN dilatée
- Introduite par
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Année
- 2016
- Type
- Deep learning (dilated 1D convolutional network)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Une CNN dilatée est un réseau de convolution unidimensionnel dont le champ récepteur croît exponentiellement avec la profondeur, lui permettant de modéliser des structures à longue portée dans les séries temporelles et les signaux audio.
WaveNet (van den Oord et al., 2016) et le Temporal Convolutional Network de Bai, Kolter et Koltun (2018) sont les membres proéminents de cette famille.
L’intuition derrière la méthode
Les convolutions ordinaires ne regardent que quelques pas en arrière, donc atteindre loin dans le passé nécessiterait une pile très profonde. Une convolution dilatée, au contraire, saute par-dessus des entrées avec un écart qui double couche par couche, de sorte que chaque couche ajoutée double approximativement la distance à laquelle le réseau peut voir dans le passé. Une poignée de couches peut donc couvrir des milliers de pas de temps tout en maintenant un nombre de paramètres modeste.
Histoire
Les convolutions dilatées pour les séquences ont été popularisées par WaveNet (van den Oord et al., 2016), qui utilisait une pile de convolutions dilatées causales pour générer de l'audio brut. Bai, Kolter et Koltun (2018) ont généralisé l'idée dans le Temporal Convolutional Network et ont montré empiriquement que de telles architectures convolutionnelles égalent ou surpassent souvent les réseaux récurrents sur un large éventail de tâches de modélisation de séquences.
Quand l’utiliser
Utilisez une CNN dilatée pour la prévision ou la prédiction sur des données de séries temporelles continues et séquentielles lorsque les dépendances à longue portée sont importantes et que vous disposez d'au moins quelques centaines d'observations. Elle ne suppose pas de données normalement distribuées, mais elle nécessite des données séquentielles, bénéficie fortement d'un GPU, et la taille du champ récepteur doit être adaptée à la tâche. En dessous d'environ 500 observations, elle a tendance au surapprentissage, et en dessous d'environ 100, un modèle de convolution profond ne vaut pas la peine d'être entraîné.
Limites et points d’attention
- Nécessite un ensemble d'entraînement assez volumineux — surapprentissage lorsque n est inférieur à environ 500.
- Un GPU est pratiquement requis pour un entraînement pratique.
- La taille du champ récepteur doit être ajustée à la tâche ; un champ trop petit manque les dépendances longues.
- L'entraînement de séquences par convolution profonde n'est pas significatif sur des séries très courtes (n inférieur à environ 100).
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Le champ récepteur croît exponentiellement avec la profondeur, capturant les dépendances à longue portée avec peu de couches.
- Les convolutions se parallélisent bien, s'entraînant plus rapidement que les réseaux récurrents sur de longues séquences.
- Aucune hypothèse de normalité ; fonctionne directement sur des signaux séquentiels continus.
- Prouvé sur des tâches exigeantes, de la génération audio brute de WaveNet à la modélisation générale de séquences TCN.
Applications
- Prévision de séries temporelles où les dépendances à longue portée sont importantes.
- Génération et modélisation audio brute, comme dans WaveNet.
- Modélisation générale de séquences comme alternative aux réseaux récurrents (TCN).
- Tâches de prédiction de signaux sur de longues séquences continues.
Comment ça marche
Comment ça marche
Les filtres de convolution sont appliqués avec un taux de dilatation qui croît (typiquement 1, 2, 4, 8, ...) d'une couche à la suivante. Chaque filtre n'a toujours que quelques poids, mais les écarts entre les entrées qu'il touche s'élargissent avec la profondeur, de sorte que le modèle capture à la fois les détails à court terme et les dépendances à long terme sans exploser en taille.
Étant donné que la dilatation double à chaque couche, le champ récepteur s'étend exponentiellement avec la profondeur : une pile de L couches de taille de noyau k peut accéder à l'ordre de mille pas passés avec seulement une poignée de couches. La taille du champ récepteur doit être ajustée à l'horizon requis par la tâche.
Formule
r = 1 + (k-1)\sum_{l} d_lLes convolutions dilatées empilées alimentent une couche finale qui émet la prédiction pour chaque position — la valeur suivante dans une prévision ou l'étiquette pour une étape de séquence. La même architecture sous-tend la génération audio brute de WaveNet et la modélisation générale de séquences du TCN.
Pièges courants
- Définir le champ récepteur trop petit de sorte que les dépendances à longue portée ne soient jamais vues.
- Entraînement sur une série courte où le modèle surapprend ou l'apprentissage est dénué de sens.
- Attendre des résultats utilisables sans GPU sur de longues séquences.
- Ignorer qu'avec très peu de données, un modèle plus simple tel qu'un ensemble d'arbres est le choix le plus sûr.
Questions fréquentes
Pourquoi la dilatation au lieu d'un simple réseau plus profond ?
La dilatation permet au champ récepteur de croître exponentiellement plutôt que linéairement avec la profondeur, de sorte que quelques couches peuvent atteindre des milliers de pas de temps tout en maintenant le nombre de paramètres et le calcul modestes.
Comment se compare-t-elle aux réseaux récurrents ?
Bai, Kolter et Koltun (2018) ont constaté que les architectures convolutionnelles comme le TCN égalent ou surpassent souvent les réseaux récurrents sur les tâches de séquence, et qu'elles s'entraînent plus rapidement car les convolutions se parallélisent à travers le temps.
Quelle quantité de données est nécessaire ?
Prévoyez au moins quelques centaines d'observations séquentielles. En dessous d'environ 500, le modèle a tendance au surapprentissage, et en dessous d'environ 100, l'entraînement d'un modèle de convolution profond n'est pas rentable — un modèle basé sur des arbres est plus sûr.
Ai-je besoin d'un GPU ?
Un GPU est fortement recommandé ; sans lui, l'entraînement sur de longues séquences devient d'une lenteur impraticable.
Méthodes associées
Sources
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Ouvrir la référence de la publicationCopié.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Ouvrir la référence de la publicationCopié.