Neural ODE
- 提出者
- Chen, T. Q. et al.
- 年份
- 2018
- 类型
- Continuous-depth neural network (ODE-parameterised dynamics)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
一种神经常微分方程(Neural ODE)由 Chen 及其同事于 2018 年提出,它将隐藏状态建模为常微分方程的连续解,而该方程的动力学由神经网络参数化。它推广了残差连接的极限情况,因此非常适合不规则采样的时间序列和基于物理的建模。
方法背后的直觉
深度残差网络在每一层都为其隐藏状态添加了一个小的学习增量。如果想象将这些层收缩到无穷小,离散的更新堆叠就变成了一条平滑曲线,网络描述的是隐藏状态的变化率,而不是固定步数。神经常微分方程(Neural ODE)字面意义上采纳了这种连续极限:它们不堆叠层,而是学习状态的速度,并让常微分方程求解器将其向前积分,因此状态可以在任何时刻进行评估,而不仅仅是在固定的层边界。
历史学
对不规则或不均匀采样的时间序列进行预测和预报。
何时使用
在连续时间数据上使用神经常微分方程(Neural ODE)进行预测或预报——特别是对于不规则采样的时间序列和纵向轨迹——其中平滑的、连续演变的动力系统是合理的模型。它适用于连续变量,不需要正态分布数据,但它需要相当长的数据序列(大约 100 个观测值作为下限,并且需要更多数据才能稳定训练),并且需要使用伴随方法的常微分方程求解器。在小数据集上,它无法很好地学习连续动力学;当观测值少于约 500 个时,树集成模型(如随机森林)更安全,而少于约 100 个时,基于求解器的模型根本没有意义。
局限与注意事项
- 需要相当多的数据:观测值少于约 500 个时,无法可靠地学习动力学。
- 大约 100 个观测值以下,基于求解器的模型基本上没有意义。
- 训练依赖于常微分方程求解器和伴随方法,增加了数值和工程复杂性。
- 刚性或快速变化的动力学可能导致求解器速度慢且训练不稳定。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 自然地处理不规则和不均匀采样的时间序列,因为状态定义在任何时间点。
- 内存高效的训练:伴随方法使内存成本与求解器深度无关。
- 对基于物理和连续动力学系统建模的原则性拟合。
- 连续深度公式推广了残差网络,并允许在精度和求解器成本之间进行权衡。
应用
- 对连续动力学和基于物理的系统进行建模。
- 纵向轨迹建模,其中观测值在任意时间到达。
- 深度残差网络的连续深度替代方案,适用于内存受限的情况。
- 神经常微分方程(Neural ODE)与残差网络有何不同?
使用方式
使用方式
与其使用固定层序列,不如使用神经网络 f_theta 将隐藏状态的瞬时变化率定义为当前状态和时间的函数。这会将网络深度转化为连续时间:模型指定状态如何演变,而不是应用多少离散变换。
公式
\frac{dh(t)}{dt} = f_\theta(h(t), t)为了在稍后的时间获得状态,数值常微分方程求解器从初始状态向前积分学习到的动力学。由于解定义在任何时间点,该模型可以自然地处理在不规则、不均匀间隔时刻到达的观测值,而无需将它们强制放到固定网格上。
公式
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt训练需要损失函数相对于网络参数的梯度。伴随敏感性方法(adjoint sensitivity method)通过向后求解第二个常微分方程来计算这些梯度,这使得内存成本保持较低且恒定,而与前向积分的求解器步数无关。
常见陷阱
- 将其应用于信号太少而无法识别连续动力学的非常短的序列。
- 将不规则时间戳强制放到规则网格上,并丢弃该方法的主要优势。
- 跳过伴随方法,并通过存储每个求解器步数来耗尽内存。
- 神经常微分方程(Neural ODE)由 Chen、Rubanova、Bettencourt 和 Duvenaud 于 2018 年 NeurIPS 会议上提出,他们将残差网络的连续极限构建为由具有内存高效伴随方法的数值积分器求解的常微分方程。次年,Rubanova 及其同事将该思想扩展到用于不规则采样时间序列的潜在常微分方程(Latent ODEs),证明了连续时间公式比离散循环模型更能自然地处理不均匀间隔的观测值。
常见问题
残差网络在固定层数的每一层添加一个离散增量。神经常微分方程(Neural ODE)取这些增量趋于无穷小的极限,因此神经网络定义了状态的连续变化率,常微分方程求解器对其进行积分。深度变成了连续时间,而不是固定的层数。
为什么训练要使用伴随方法?
伴随敏感性方法通过向后求解辅助常微分方程来计算梯度。这使得内存成本保持较低且恒定,而与前向求解器步数无关,这是推荐用于训练神经常微分方程(Neural ODE)的主要原因。
何时应避免使用神经常微分方程(Neural ODE)?
在小数据集上。当观测值少于约 500 个时,模型无法可靠地学习连续动力学,而少于约 100 个时,基于求解器的模型没有意义。在这些情况下,树集成模型(如随机森林或 XGBoost)是更安全的选择。
它最适合哪种数据?
连续值时间序列和纵向数据,特别是当观测值不规则或不均匀采样时。因为状态定义在任何时间点,所以该方法不需要将数据重采样到固定网格上。
直接在 MethodMind 中对您自己的连续时间数据运行神经常微分方程(Neural ODE)——加载您的时间序列,配置常微分方程求解器和基于伴随的训练,并获得尊重不规则观测时间戳的连续时间预测。
相关方法
参考文献
Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).
打开出版物文献已复制。Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).
打开出版物文献已复制。