[论文解读] On Second Order Behaviour in Augmented Neural ODEs

Alexander Norcliffe, Cristian Bodnar+3 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 21被引用 22

一句话总结

本文提出了二阶神经ODE（SONODEs），一种连续深度架构，通过耦合的一阶ODE系统建模二阶动力学，利用扩展的伴随敏感性方法实现高效训练。主要贡献在于，SONODEs由于更强的归纳偏置，在二阶动力系统上实现了比ANODEs和NODEs更快的训练速度和更优的性能；而ANODEs虽能学习更高阶动力学，但会以降低可解释性为代价。

ABSTRACT

Neural Ordinary Differential Equations (NODEs) are a new class of models that transform data continuously through infinite-depth architectures. The continuous nature of NODEs has made them particularly suitable for learning the dynamics of complex physical systems. While previous work has mostly been focused on first order ODEs, the dynamics of many systems, especially in classical physics, are governed by second order laws. In this work, we consider Second Order Neural ODEs (SONODEs). We show how the adjoint sensitivity method can be extended to SONODEs and prove that the optimisation of a first order coupled ODE is equivalent and computationally more efficient. Furthermore, we extend the theoretical understanding of the broader class of Augmented NODEs (ANODEs) by showing they can also learn higher order dynamics with a minimal number of augmented dimensions, but at the cost of interpretability. This indicates that the advantages of ANODEs go beyond the extra space offered by the augmented dimensions, as originally thought. Finally, we compare SONODEs and ANODEs on synthetic and real dynamical systems and demonstrate that the inductive biases of the former generally result in faster training and better performance.

研究动机与目标

• 为解决神经ODE中二阶动力学缺乏理论与实证研究的问题，而这类动力学在经典物理中十分常见。
• 将伴随敏感性方法扩展至二阶ODE，并证明其与耦合一阶系统在计算上等价。
• 探究增强型神经ODE（ANODEs）是否能学习更高阶动力学，并评估其在可解释性与优化景观方面的权衡。
• 在合成与真实世界的二阶动力系统上对比SONODEs与ANODEs，评估泛化能力与归纳偏置的影响。

提出的方法

• 通过状态 z = [x, a]（其中 a 表示速度）将SONODEs表述为一组耦合的一阶ODE，从而复用一阶伴随方法。
• 通过推导二阶伴随状态的动力学，将伴随敏感性方法推广至二阶系统。
• 采用一阶耦合ODE形式作为直接计算二阶伴随的计算高效替代方案。
• 对轨迹回归任务使用均方误差（MSE）损失，对分类任务使用交叉熵损失以训练模型。
• 使用自适应步长的ODE求解器，并通过伴随方法计算梯度以优化模型参数。
• 在具有解析解的合成系统（如紧凑奇偶性、指数函数）和真实系统（如飞机振动）上测试模型。

实验结果

研究问题

• RQ1 伴随敏感性方法能否成功推广至二阶神经ODE？
• RQ2 一阶耦合ODE形式在计算上是否等价于直接的二阶伴随计算，且更具效率？
• RQ3 ANODEs能否学习更高阶动力学？其对可解释性与损失景观有何影响？
• RQ4 SONODEs是否因更强的归纳偏置而在学习二阶动力系统方面优于ANODEs和NODEs？
• RQ5 在真实与合成任务中，SONODEs与ANODEs在训练速度、测试准确率及函数评估次数（NFE）方面有何对比？

主要发现

• 由于更强的归纳偏置，SONODEs在二阶动力系统上实现了比ANODEs和NODEs更快的训练速度和更优性能。
• 一阶耦合ODE形式在计算上等价于直接的二阶伴随计算，且更具效率。
• ANODEs可借助极少的增强维度学习更高阶动力学，但代价是可解释性降低且损失景观更复杂。
• 在MNIST分类任务中，SONODEs以更低的NFE（20.1）达到0.9963 ± 0.0001的测试准确率，表明其流更简单、更高效。
• ANODEs达到与SONODEs相同的测试准确率（0.9963 ± 0.0001），但NFE更高（32.2），表明尽管参数更少，其学习到的动力学更复杂。
• 三阶神经ODE（TONODEs）在飞机振动任务中表现显著不佳，常收敛至平凡解，表明高阶系统在优化方面面临挑战。