CNN dilatada
- Propuesto por
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- Año
- 2016
- Tipo
- Deep learning (dilated 1D convolutional network)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Una CNN dilatada es una red convolucional unidimensional cuyo campo receptivo crece exponencialmente con la profundidad, lo que le permite modelar estructuras de largo alcance en series de tiempo y señales de audio.
WaveNet (van den Oord et al., 2016) y la Red Convolucional Temporal de Bai, Kolter y Koltun (2018) son los miembros prominentes de esta familia.
La intuición detrás del método
Las convoluciones ordinarias solo miran unos pocos pasos hacia atrás, por lo que para alcanzar el pasado lejano se necesitaría una pila muy profunda. Una convolución dilatada, en cambio, salta las entradas con un espacio que se duplica capa por capa, de modo que cada capa añadida duplica aproximadamente la distancia que la red puede ver hacia atrás. Por lo tanto, unas pocas capas pueden cubrir miles de pasos de tiempo manteniendo un número modesto de parámetros.
Historia
Las convoluciones dilatadas para secuencias fueron popularizadas por WaveNet (van den Oord et al., 2016), que utilizó una pila de convoluciones dilatadas causales para generar audio en bruto. Bai, Kolter y Koltun (2018) generalizaron la idea en la Red Convolucional Temporal (TCN) y mostraron empíricamente que tales arquitecturas convolucionales a menudo igualan o superan a las redes recurrentes en una amplia gama de tareas de modelado de secuencias.
Cuándo usarlo
Utilice una CNN dilatada para la previsión o predicción de datos de series de tiempo continuos y secuenciales cuando las dependencias de largo alcance sean importantes y tenga al menos unos pocos cientos de observaciones. No asume datos distribuidos normalmente, pero necesita datos secuenciales, se beneficia enormemente de una GPU y el tamaño del campo receptivo debe coincidir con la tarea. Por debajo de unas 500 observaciones, tiende a sobreajustarse, y por debajo de aproximadamente 100, un modelo convolucional profundo no vale la pena entrenarlo.
Limitaciones y consideraciones
- Necesita un conjunto de entrenamiento bastante grande —se sobreajusta cuando n es inferior a unas 500—.
- Una GPU es efectivamente necesaria para un entrenamiento práctico.
- El tamaño del campo receptivo debe ajustarse a la tarea; un campo demasiado pequeño omite las dependencias largas.
- El entrenamiento de secuencias convolucionales profundas no es significativo en series muy cortas (n inferior a unas 100).
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- El campo receptivo crece exponencialmente con la profundidad, capturando dependencias de largo alcance con pocas capas.
- Las convoluciones se paralelizan bien, entrenando más rápido que las redes recurrentes en secuencias largas.
- No hay suposición de normalidad; funciona directamente sobre señales secuenciales continuas.
- Probado en tareas exigentes, desde la generación de audio en bruto de WaveNet hasta el modelado general de secuencias de TCN.
Aplicaciones
- Previsión de series de tiempo donde las dependencias de largo alcance son importantes.
- Generación y modelado de audio en bruto, como en WaveNet.
- Modelado general de secuencias como alternativa a las redes recurrentes (TCN).
- Tareas de predicción de señales en secuencias continuas largas.
Cómo funciona
Cómo funciona
Los filtros convolucionales se aplican con una tasa de dilatación que crece (típicamente 1, 2, 4, 8, ...) de una capa a la siguiente. Cada filtro todavía tiene solo unos pocos pesos, pero los espacios entre las entradas que toca se amplían con la profundidad, por lo que el modelo captura tanto detalles a corto plazo como dependencias a largo plazo sin que su tamaño se dispare.
Debido a que la dilatación se duplica en cada capa, el campo receptivo se expande exponencialmente con la profundidad: una pila de L capas con tamaño de kernel k puede atender del orden de mil pasos pasados con solo unas pocas capas. El tamaño del campo receptivo debe ajustarse al horizonte que la tarea realmente requiere.
Fórmula
r = 1 + (k-1)\sum_{l} d_lLas convoluciones dilatadas apiladas alimentan una capa final que emite la predicción para cada posición —el siguiente valor en un pronóstico o la etiqueta para un paso de secuencia—. La misma arquitectura subyace a la generación de audio en bruto de WaveNet y al modelado general de secuencias de la TCN.
Errores comunes
- Establecer el campo receptivo demasiado pequeño, de modo que nunca se vean las dependencias de largo alcance.
- Entrenar en una serie corta donde el modelo se sobreajusta o el aprendizaje carece de sentido.
- Esperar resultados utilizables sin una GPU en secuencias largas.
- Ignorar que con muy pocos datos un modelo más simple, como un conjunto de árboles, es la opción más segura.
Preguntas frecuentes
¿Por qué dilatación en lugar de simplemente una red más profunda?
La dilatación permite que el campo receptivo crezca exponencialmente en lugar de linealmente con la profundidad, por lo que unas pocas capas pueden alcanzar miles de pasos pasados manteniendo el número de parámetros y la computación modestos.
¿Cómo se compara con las redes recurrentes?
Bai, Kolter y Koltun (2018) encontraron que las arquitecturas convolucionales como la TCN a menudo igualan o superan a las redes recurrentes en tareas de secuencia, y entrenan más rápido porque las convoluciones se paralelizan en el tiempo.
¿Cuántos datos necesito?
Planifique al menos unos pocos cientos de observaciones secuenciales. Por debajo de unas 500, el modelo tiende a sobreajustarse, y por debajo de aproximadamente 100, entrenar un modelo convolucional profundo no vale la pena; un modelo basado en árboles es más seguro.
¿Necesito una GPU?
Se recomienda encarecidamente una GPU; sin ella, el entrenamiento en secuencias largas se vuelve impracticamente lento.
Métodos relacionados
Fuentes
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
Abrir referencia de la publicaciónCopiado.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
Abrir referencia de la publicaciónCopiado.