Skip to content
Voltar aos resultados

ODE Neuronal

Proposto por
Chen, T. Q. et al.
Ano
2018
Tipo
Continuous-depth neural network (ODE-parameterised dynamics)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Uma ODE Neuronal, introduzida por Chen e colegas em 2018, modela um estado oculto como a solução contínua de uma equação diferencial ordinária cujas dinâmicas são parametrizadas por uma rede neural. Generaliza o caso limite das conexões residuais, tornando-a bem adequada para séries temporais irregularmente espaçadas e modelagem baseada em física.

A intuição por trás do método

Uma rede residual profunda adiciona um pequeno incremento aprendido ao seu estado oculto em cada camada. Se imaginarmos encolher essas camadas até que se tornem infinitesimalmente próximas, a pilha discreta de atualizações se transforma em uma curva suave, e a rede descreve a taxa de variação do estado oculto em vez de um número fixo de passos. As ODEs Neuronal levam esse limite contínuo literalmente: em vez de empilhar camadas, elas aprendem a velocidade do estado e deixam um resolvedor de EDO integrá-lo para frente no tempo, de modo que o estado possa ser avaliado a qualquer momento, não apenas em limites de camada fixos.

História

As ODEs Neuronal foram introduzidas por Chen, Rubanova, Bettencourt e Duvenaud na NeurIPS 2018, enquadrando o limite contínuo das redes residuais como uma equação diferencial ordinária resolvida por um integrador numérico com o método adjunto de memória eficiente. No ano seguinte, Rubanova e colegas estenderam a ideia para ODEs Latentes para séries temporais irregularmente amostradas, demonstrando que a formulação de tempo contínuo lida com observações desigualmente espaçadas de forma mais natural do que modelos recorrentes discretos.

Quando usar

Use uma ODE Neuronal para previsão ou prognóstico em dados de tempo contínuo — particularmente séries temporais irregularmente amostradas e trajetórias longitudinais — onde um sistema dinâmico suave e em evolução contínua é um modelo plausível. Funciona em variáveis contínuas e não requer dados normalmente distribuídos, mas espera uma série razoavelmente longa (cerca de 100 observações como mínimo, e notavelmente mais para treinamento estável) e um resolvedor de EDO usando o método adjunto. Em conjuntos de dados pequenos, não consegue aprender as dinâmicas contínuas bem; com menos de cerca de 500 observações, um ensemble de árvores como Random Forest é mais seguro, e abaixo de cerca de 100, um modelo baseado em resolvedor não é significativo.

Limitações e considerações

  • Requer uma quantidade razoável de dados: com menos de cerca de 500 observações, não consegue aprender as dinâmicas de forma confiável.
  • Abaixo de aproximadamente 100 observações, um modelo baseado em resolvedor é essencialmente sem sentido.
  • O treinamento depende de um resolvedor de EDO e do método adjunto, adicionando complexidade numérica e de engenharia.
  • Dinâmicas rígidas ou de rápida mudança podem tornar o resolvedor lento e o treinamento instável.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Lida com séries temporais irregularmente e desigualmente amostradas naturalmente, pois o estado é definido em qualquer ponto no tempo.
  • Treinamento com uso eficiente de memória: o método adjunto mantém a memória constante independentemente da profundidade do resolvedor.
  • Um ajuste principiado para modelagem de sistemas dinâmicos contínuos e baseados em física.
  • A formulação de profundidade contínua generaliza redes residuais e permite que a precisão seja trocada pelo custo do resolvedor.

Aplicações

  • Previsão e prognóstico em séries temporais irregularmente amostradas ou desigualmente espaçadas.
  • Modelagem de sistemas dinâmicos contínuos e baseados em física.
  • Modelagem de trajetórias longitudinais onde as observações chegam em tempos arbitrários.
  • Alternativas de profundidade contínua para redes residuais profundas onde a memória é limitada.

Como funciona

Como funciona

1

Em vez de uma sequência fixa de camadas, uma rede neural f_theta define a taxa de variação instantânea do estado oculto como uma função do estado atual e do tempo. Isso transforma a profundidade da rede em tempo contínuo: o modelo especifica como o estado evolui, não quantas transformações discretas aplicar.

Fórmula
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

Para obter o estado em um tempo posterior, um resolvedor numérico de EDO integra as dinâmicas aprendidas a partir do estado inicial. Como a solução é definida para qualquer ponto no tempo, o modelo lida naturalmente com observações que chegam em momentos irregulares e desigualmente espaçados, sem forçá-las em uma grade fixa.

Fórmula
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

O treinamento requer gradientes da perda em relação aos parâmetros da rede. O método de sensibilidade adjunta calcula esses gradientes resolvendo uma segunda EDO para trás no tempo, o que mantém o custo de memória baixo e constante, independentemente de quantos passos o resolvedor de integração direta realizou.

Erros comuns

  • Aplicá-lo a uma série muito curta onde há pouco sinal para identificar uma dinâmica contínua.
  • Ignorar as configurações de tolerância do resolvedor, de modo que a precisão e o tempo de execução sejam incompatíveis silenciosamente.
  • Forçar timestamps irregulares em uma grade regular e descartar a principal vantagem do método.
  • Pular o método adjunto e esgotar a memória armazenando cada passo do resolvedor.

Perguntas frequentes

Qual a diferença entre uma ODE Neuronal e uma rede residual?

Uma rede residual adiciona um incremento discreto em cada uma de um número fixo de camadas. Uma ODE Neuronal leva o limite onde esses incrementos se tornam infinitesimais, de modo que uma rede neural define a taxa de variação contínua do estado e um resolvedor de EDO o integra. A profundidade se torna tempo contínuo em vez de uma contagem fixa de camadas.

Por que usar o método adjunto para treinamento?

O método de sensibilidade adjunta calcula gradientes resolvendo uma EDO auxiliar para trás no tempo. Isso mantém o custo de memória baixo e constante, independentemente de quantos passos o resolvedor direto realizou, que é a principal razão pela qual é recomendado para treinar ODEs Neuronal.

Quando devo evitar uma ODE Neuronal?

Em conjuntos de dados pequenos. Com menos de cerca de 500 observações, o modelo não consegue aprender as dinâmicas contínuas de forma confiável, e abaixo de aproximadamente 100, um modelo baseado em resolvedor não é significativo. Nesses casos, um ensemble de árvores como Random Forest ou XGBoost é uma escolha mais segura.

Que tipo de dados ela se adequa melhor?

Séries temporais e dados longitudinais de valor contínuo, especialmente quando as observações são irregularmente ou desigualmente espaçadas. Como o estado é definido em qualquer ponto no tempo, o método não requer reamostragem dos dados em uma grade fixa.

Métodos relacionados

Fontes

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    Abrir referência da publicação
    Copiado.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    Abrir referência da publicação
    Copiado.