Skip to content
Назад к результатам поиска

Нейронные ОДУ (Neural ODE)

Автор метода
Chen, T. Q. et al.
Год
2018
Тип
Continuous-depth neural network (ODE-parameterised dynamics)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Нейронные ОДУ, представленные Чен и его коллегами в 2018 году, моделируют скрытое состояние как непрерывное решение обыкновенного дифференциального уравнения, динамика которого параметризована нейронной сетью.

Эта модель обобщает предельный случай остаточных связей, что делает ее хорошо подходящей для нерегулярно расположенных временных рядов и моделирования на основе физических законов.

Интуиция метода

Глубокая остаточная сеть добавляет небольшой обучаемый прирост к своему скрытому состоянию на каждом слое. Если представить, что эти слои сжимаются до бесконечно малых, дискретный стек обновлений превращается в гладкую кривую, и сеть описывает скорость изменения скрытого состояния, а не фиксированное число шагов. Нейронные ОДУ буквально воспринимают этот непрерывный предел: вместо стекирования слоев они изучают скорость состояния и позволяют решателю ОДУ интегрировать его вперед во времени, так что состояние может быть оценено в любой момент, а не только на фиксированных границах слоев.

История

Нейронные ОДУ были представлены Чен, Рубановой, Беттенкуртом и Дювено в 2018 году на конференции NeurIPS, где непрерывный предел остаточных сетей был сформулирован как обыкновенное дифференциальное уравнение, решаемое численным интегратором с использованием эффективного по памяти метода сопряженных чувствительностей. В следующем году Рубанова и коллеги расширили эту идею до латентных ОДУ для нерегулярно дискретизированных временных рядов, продемонстрировав, что непрерывно-временная формулировка обрабатывает неравномерно расположенные наблюдения более естественно, чем дискретные рекуррентные модели.

Когда применять

Используйте Нейронные ОДУ для прогнозирования или предсказания на данных в непрерывном времени — особенно для нерегулярно дискретизированных временных рядов и продольных траекторий — где правдоподобной моделью является гладкая, непрерывно эволюционирующая динамическая система. Модель работает с непрерывными переменными и не требует нормально распределенных данных, но ожидает достаточно длинный ряд (около 100 наблюдений как минимум, и заметно больше для стабильного обучения) и решатель ОДУ, использующий метод сопряженных чувствительностей. На малых наборах данных она не может хорошо изучить непрерывную динамику; при менее чем примерно 500 наблюдениях ансамбль деревьев, такой как случайный лес, безопаснее, а при менее чем примерно 100 наблюдениях модель, основанная на решателе, вообще не имеет смысла.

Ограничения и замечания

  • Требует значительного объема данных: при менее чем примерно 500 наблюдениях модель не может надежно изучить динамику.
  • При менее чем примерно 100 наблюдениях модель, основанная на решателе, по сути, бессмысленна.
  • Обучение опирается на решатель ОДУ и метод сопряженных чувствительностей, что добавляет численную и инженерную сложность.
  • Жесткая или быстро меняющаяся динамика может сделать решатель медленным, а обучение — нестабильным.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Естественным образом обрабатывает нерегулярно и неравномерно дискретизированные временные ряды, поскольку состояние определяется в любой момент времени.
  • Эффективное по памяти обучение: метод сопряженных чувствительностей сохраняет постоянный объем памяти независимо от глубины решателя.
  • Принципиально подходит для моделирования физических систем и непрерывных динамических систем.
  • Формулировка непрерывной глубины обобщает остаточные сети и позволяет соотносить точность со стоимостью решателя.

Применение

  • Прогнозирование и предсказание на нерегулярно дискретизированных или неравномерно расположенных временных рядах.
  • Моделирование непрерывных динамических систем и систем, основанных на физических законах.
  • Моделирование продольных траекторий, где наблюдения поступают в произвольные моменты времени.
  • Непрерывно-глубинные альтернативы глубоким остаточным сетям, где объем памяти ограничен.

Как это работает

Как это работает

1

Вместо фиксированной последовательности слоев нейронная сеть f_theta определяет мгновенную скорость изменения скрытого состояния как функцию текущего состояния и времени. Это превращает глубину сети в непрерывное время: модель определяет, как эволюционирует состояние, а не сколько дискретных преобразований следует применить.

Формула
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

Чтобы получить состояние в более поздний момент времени, численный решатель ОДУ интегрирует изученную динамику вперед от начального состояния. Поскольку решение определено для любой точки времени, модель естественным образом обрабатывает наблюдения, поступающие в нерегулярные, неравномерно расположенные моменты, без принудительного приведения их к фиксированной сетке.

Формула
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

Обучение требует градиентов функции потерь по параметрам сети. Метод сопряженных чувствительностей вычисляет их, решая второе ОДУ в обратном направлении по времени, что сохраняет низкую и постоянную стоимость памяти независимо от того, сколько шагов решателя потребовалось для прямой интеграции.

Частые ошибки

  • Применение к очень короткому ряду, где слишком мало сигнала для идентификации непрерывной динамики.
  • Принудительное приведение нерегулярных временных меток к регулярной сетке и отбрасывание основного преимущества метода.
  • Игнорирование настроек допуска решателя, что приводит к несоответствию точности и времени выполнения.
  • Пропуск метода сопряженных чувствительностей и исчерпание памяти путем сохранения каждого шага решателя.

Часто задаваемые вопросы

Чем Нейронные ОДУ отличаются от остаточной сети?

Остаточная сеть добавляет дискретный прирост на каждом из фиксированного числа слоев. Нейронные ОДУ принимают предел, когда эти приращения становятся бесконечно малыми, так что нейронная сеть определяет непрерывную скорость изменения состояния, а решатель ОДУ интегрирует ее. Глубина становится непрерывным временем, а не фиксированным числом слоев.

Зачем использовать метод сопряженных чувствительностей для обучения?

Метод сопряженных чувствительностей вычисляет градиенты, решая вспомогательное ОДУ в обратном направлении по времени. Это сохраняет низкую и постоянную стоимость памяти независимо от того, сколько шагов предпринял прямой решатель, что является основной причиной его рекомендации для обучения Нейронных ОДУ.

Когда следует избегать использования Нейронных ОДУ?

На малых наборах данных. При менее чем примерно 500 наблюдениях модель не может надежно изучить непрерывную динамику, а при менее чем примерно 100 наблюдениях модель, основанная на решателе, не имеет смысла. В таких случаях ансамбль деревьев, такой как случайный лес или XGBoost, является более безопасным выбором.

Какие данные лучше всего подходят?

Временные ряды и продольные данные с непрерывными значениями, особенно когда наблюдения нерегулярно или неравномерно расположены. Поскольку состояние определяется в любой момент времени, метод не требует передискретизации данных на фиксированную сетку.

Похожие методы

Источники

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    Открыть ссылку на публикацию
    Скопировано.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    Открыть ссылку на публикацию
    Скопировано.