[论文解读] On Numerical Integration in Neural Ordinary Differential Equations

Aiqing Zhu, Pengzhan Jin+2 more|arXiv (Cornell University)|Jun 15, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出逆修正微分方程（IMDE）以理论分析数值积分对神经网络常微分方程（Neural ODEs）的影响。通过证明训练过程近似于IMDE而非真实ODE，作者表明模型误差受离散化误差与学习损失的共同约束，并展示非辛积分器无法学习守恒律，实验结果验证了这些理论发现。

ABSTRACT

The combination of ordinary differential equations and neural networks, i.e., neural ordinary differential equations (Neural ODE), has been widely studied from various angles. However, deciphering the numerical integration in Neural ODE is still an open challenge, as many researches demonstrated that numerical integration significantly affects the performance of the model. In this paper, we propose the inverse modified differential equations (IMDE) to clarify the influence of numerical integration on training Neural ODE models. IMDE is determined by the learning task and the employed ODE solver. It is shown that training a Neural ODE model actually returns a close approximation of the IMDE, rather than the true ODE. With the help of IMDE, we deduce that (i) the discrepancy between the learned model and the true ODE is bounded by the sum of discretization error and learning loss; (ii) Neural ODE using non-symplectic numerical integration fail to learn conservation laws theoretically. Several experiments are performed to numerically verify our theoretical analysis.

研究动机与目标

• 为了从理论上澄清数值积分对Neural ODE性能的影响，尽管已有经验观察到性能下降，但这一问题仍是一个开放挑战。
• 为了形式化由于数值求解器导致学习到的Neural ODE与真实底层ODE之间的差异。
• 为了建立一个严谨的数学框架，利用逆修正微分方程（IMDE）来表征Neural ODE所学习的有效动力学。
• 为了证明非辛积分器无法在Neural ODE中学习守恒律，为观察到的失败现象提供理论解释。
• 通过在基准动力系统（包括摆、阻尼振子和洛伦兹系统）上的数值实验验证理论结论。

提出的方法

• 提出逆修正微分方程（IMDE），作为在给定积分器下其精确解与真实ODE的数值解完全匹配的扰动ODE。
• 通过形式化分析推导IMDE，表明训练后的Neural ODE模型在学习损失与离散化误差的界内近似IMDE。
• 应用修正方程方法分析IMDE的结构，特别关注其辛性与守恒律。
• 证明若数值积分器非辛，则IMDE无法保持所需的哈密顿结构，从而导致无法学习守恒律。
• 使用高阶龙格-库塔求解器（如RK4）作为测试求解器，并比较不同积分器与步长下的轨迹与误差。
• 使用两层各128个神经元的全连接神经网络与tanh激活函数来学习向量场，通过最小化轨迹对之间的均方误差进行训练。

实验结果

研究问题

• RQ1 数值积分在Neural ODE中如何扭曲真实ODE的动力学？所学习的有效方程是什么？
• RQ2 学习模型与真实ODE之间的差异在多大程度上受离散化误差与学习误差的约束？
• RQ3 为何非辛积分器在Neural ODE中无法学习守恒律？能否从理论上证明这一点？
• RQ4 逆修正微分方程（IMDE）能否作为Neural ODE所学习的有效动力学的精确表征？
• RQ5 不同数值求解器与步长如何影响训练后Neural ODE的精度与守恒性质？

主要发现

• 训练后的Neural ODE模型是IMDE的紧密近似，其差异受学习损失与次指数级小误差的共同约束。
• 学习模型与真实ODE之间的误差受离散化误差 $ Ch^p $ 与学习损失之和的约束，其中 $ h $ 为步长，$ p $ 为积分器阶数。
• 使用非辛积分器的Neural ODE无法学习守恒律，因为此类求解器导出的IMDE无法保持哈密顿系统所需的辛结构。
• 在摆、阻尼谐振子与洛伦兹系统上的数值实验表明，IMDE能准确预测有效动力学及误差随步长的变化规律。
• 误差随步长 $ h $ 的变化遵循预期的阶 $ O(h^p) $，并通过 $ \log_2(\text{Error}(2h)/\text{Error}(h)) $ 确认了收敛阶，与理论预测一致。
• 使用非辛求解器训练的模型生成的轨迹在长时间范围内显著偏离真实轨道，证实了理论上的局限性。