[论文解读] Neural Integration of Continuous Dynamics

Margaret Trautner, Sai Ravela|arXiv (Cornell University)|Nov 23, 2019

Model Reduction and Neural Networks参考文献 2被引用 4

一句话总结

该论文提出了一种紧凑的、循环的离散时间神经网络（DtNN），通过使用标准数值积分方法——显式Runge-Kutta方法和半隐式Adams-Bashforth-Moulton方法——对连续时间动力系统进行神经积分，当系统为多项式时，实现与数值积分的精确等价性，如在Lorenz-63模型中所展示的那样。

ABSTRACT

Neural dynamical systems are dynamical systems that are described at least in part by neural networks. The class of continuous-time neural dynamical systems must, however, be numerically integrated for simulation and learning. Here, we present a compact neural circuit for two common numerical integrators: the explicit fixed-step Runge-Kutta method of any order and the semi-implicit/predictor-corrector Adams-Bashforth-Moulton method. Modeled as constant-sized recurrent networks embedding a continuous neural differential equation, they achieve fully neural temporal output. Using the polynomial class of dynamical systems, we demonstrate the equivalence of neural and numerical integration.

研究动机与目标

• 开发一种完全基于神经网络的循环离散时间网络，对连续动力系统进行数值积分，而无需依赖外部数值求解器。
• 证明通过DtNN实现的神经积分在多项式动力系统上可达到与经典数值积分相当的精度。
• 表明该网络架构保持紧凑且对积分阶数不变，与以往随阶数增长而扩展的方法形成对比。
• 通过将控制方程嵌入基于PolyNet的神经电路中，为系统动力学中的理论引导学习奠定基础。
• 通过纯神经计算实现神经ODE的端到端可微分仿真与训练，支持环境建模和自适应系统等应用。

提出的方法

• 构建一个循环DtNN，将显式Runge-Kutta方法的导数计算与数值步进过程整合到单一神经电路中。
• 使用乘法节点实现阶数无关的架构：网络规模不随积分阶数增加而增长。
• 通过在单一循环网络中耦合两步Adams-Bashforth预测器与两步Adams-Moulton校正器，将该方法推广至半隐式方法。
• 采用PolyNets——具有多项式非线性的连续时间神经网络——作为动力系统表示的基础，以实现精确积分。
• 将神经积分过程定义为由循环网络生成的一系列离散时间输出，每一项代表解的一个时间步。
• 通过展示在Lorenz-63系统（具有已知多项式系数）上，神经积分与数值积分在机器精度范围内收敛，验证了正确性。

实验结果

研究问题

• RQ1 一个单一的循环离散时间神经网络能否以与经典求解器相当的精度对连续动力系统进行数值积分？
• RQ2 所提出的神经积分方法是否能保持固定的网络规模，而不会像以往的神经电路实现那样随积分阶数增长？
• RQ3 PolyNets在多大程度上能够实现对由多项式微分方程控制的系统的精确神经积分？
• RQ4 在混沌系统（如Lorenz-63）中，神经积分与标准数值积分在收敛性和数值表示方面有何比较？
• RQ5 神经积分能否作为系统动力学中理论引导学习的基础，其中控制方程已知但参数需从数据中学习？

主要发现

• 所提出的循环DtNN在系统为多项式时，能对连续时间动力系统实现精确的神经积分，与经典数值积分达到等价性。
• 对于Lorenz-63系统，通过PolyNets实现的神经积分在机器精度范围内收敛于数值积分，证明了其数值正确性。
• 无论采用Runge-Kutta或Adams-Bashforth-Moulton方法的阶数如何，网络规模始终保持不变，支持可扩展且紧凑的实现。
• PolyNets仅需两个节点即可精确表示Lorenz-63系统，而使用tanh激活函数的标准前馈网络至少需要六个节点，凸显其效率优势。
• 该方法通过纯神经计算实现神经ODE的端到端可微分仿真，无需外部数值积分器。
• 该方法通过将已知控制方程嵌入网络结构中，支持理论引导学习，相比黑箱神经网络可显著减少数据和参数需求。