Skip to content
Voltar aos resultados

CNN Dilatada

Proposto por
van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
Ano
2016
Tipo
Deep learning (dilated 1D convolutional network)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Uma CNN Dilatada é uma rede convolucional unidimensional cujo campo receptivo cresce exponencialmente com a profundidade, permitindo modelar estruturas de longo alcance em séries temporais e sinais de áudio.

WaveNet (van den Oord et al., 2016) e a Rede Convolucional Temporal de Bai, Kolter e Koltun (2018) são os membros proeminentes desta família.

A intuição por trás do método

Convoluções ordinárias olham apenas alguns passos para trás, de modo que alcançar o passado distante exigiria uma pilha muito profunda. Uma convolução dilatada, em vez disso, salta sobre as entradas com um espaço que dobra camada a camada, de modo que cada camada adicionada dobra aproximadamente a distância para o passado que a rede pode ver. Um punhado de camadas pode, portanto, cobrir milhares de passos de tempo, mantendo a contagem de parâmetros modesta.

História

Convoluções dilatadas para sequências foram popularizadas pelo WaveNet (van den Oord et al., 2016), que usou uma pilha de convoluções dilatadas causais para gerar áudio bruto. Bai, Kolter e Koltun (2018) generalizaram a ideia para a Rede Convolucional Temporal e mostraram empiricamente que tais arquiteturas convolucionais frequentemente igualam ou superam redes recorrentes em uma ampla gama de tarefas de modelagem de sequências.

Quando usar

Use uma CNN Dilatada para previsão ou prognóstico em dados contínuos e sequenciais de séries temporais quando dependências de longo alcance são importantes e você tem pelo menos algumas centenas de observações. Ela não assume dados normalmente distribuídos, mas precisa de dados sequenciais, beneficia-se fortemente de uma GPU, e o tamanho do campo receptivo deve ser compatível com a tarefa. Abaixo de cerca de 500 observações, tende a sobreajustar, e abaixo de aproximadamente 100, um modelo convolucional profundo não vale a pena treinar.

Limitações e considerações

  • Necessita de um conjunto de treinamento razoavelmente grande — sobreajusta quando n é inferior a cerca de 500.
  • Uma GPU é efetivamente necessária para treinamento prático.
  • O tamanho do campo receptivo deve ser ajustado à tarefa; um campo muito pequeno perde dependências longas.
  • Treinamento de sequências convolucionais profundas não é significativo em séries muito curtas (n abaixo de cerca de 100).

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Campo receptivo cresce exponencialmente com a profundidade, capturando dependências de longo alcance com poucas camadas.
  • Convoluções paralelizam bem, treinando mais rápido que redes recorrentes em sequências longas.
  • Sem suposição de normalidade; funciona diretamente em sinais sequenciais contínuos.
  • Comprovado em tarefas exigentes, desde a geração de áudio bruto do WaveNet até a modelagem geral de sequências TCN.

Aplicações

  • Previsão de séries temporais onde dependências de longo alcance são importantes.
  • Geração e modelagem de áudio bruto, como no WaveNet.
  • Modelagem geral de sequências como alternativa a redes recorrentes (TCN).
  • Tarefas de previsão de sinais em sequências contínuas longas.

Como funciona

Como funciona

1

Filtros convolucionais são aplicados com uma taxa de dilatação que cresce (tipicamente 1, 2, 4, 8, ...) de uma camada para a próxima. Cada filtro ainda tem apenas alguns pesos, mas os espaços entre as entradas que ele toca aumentam com a profundidade, de modo que o modelo captura detalhes de curto prazo e dependências de longo prazo sem explodir em tamanho.

2

Como a dilatação dobra em cada camada, o campo receptivo se expande exponencialmente com a profundidade: uma pilha de L camadas com tamanho de kernel k pode atender na ordem de mil passos passados com apenas um punhado de camadas. O tamanho do campo receptivo deve ser ajustado ao horizonte que a tarefa realmente exige.

Fórmula
r = 1 + (k-1)\sum_{l} d_l
3

Convoluções alinhadas e dilatadas alimentam uma camada final que emite a previsão para cada posição — o próximo valor em uma previsão ou o rótulo para um passo de sequência. A mesma arquitetura sustenta a geração de áudio bruto do WaveNet e a modelagem geral de sequências do TCN.

Erros comuns

  • Definir o campo receptivo muito pequeno, de modo que dependências de longo alcance nunca sejam vistas.
  • Treinamento em uma série curta onde o modelo sobreajusta ou o aprendizado é sem sentido.
  • Esperar resultados utilizáveis sem uma GPU em sequências longas.
  • Ignorar que com muito poucos dados um modelo mais simples, como um ensemble de árvores, é a escolha mais segura.

Perguntas frequentes

Por que dilatação em vez de apenas uma rede mais profunda?

A dilatação permite que o campo receptivo cresça exponencialmente em vez de linearmente com a profundidade, de modo que algumas camadas possam alcançar milhares de passos passados, mantendo a contagem de parâmetros e a computação modestas.

Como se compara a redes recorrentes?

Bai, Kolter e Koltun (2018) descobriram que arquiteturas convolucionais como a TCN frequentemente igualam ou superam redes recorrentes em tarefas de sequência, e elas treinam mais rápido porque as convoluções paralelizam através do tempo.

Quanta dados são necessários?

Planeje pelo menos algumas centenas de observações sequenciais. Abaixo de cerca de 500, o modelo tende a sobreajustar, e abaixo de aproximadamente 100, treinar um modelo convolucional profundo não é vantajoso — um modelo baseado em árvores é mais seguro.

Preciso de uma GPU?

Uma GPU é fortemente recomendada; sem ela, o treinamento em sequências longas torna-se impraticavelmente lento.

Métodos relacionados

Fontes

  1. van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.

    Abrir referência da publicação
    Copiado.
  2. Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.

    Abrir referência da publicação
    Copiado.