[论文解读] Solving Differential Equations Using Neural Network Solution Bundles

Cedric Flamant, Pavlos Protopapas+1 more|arXiv (Cornell University)|Jun 17, 2020

Model Reduction and Neural Networks参考文献 18被引用 18

一句话总结

本文提出了一种神经网络解决方案组合，可在单个可微模型中学习参数化常微分方程（ODE）在不同初始条件和系统参数下的多个解。通过使用一种无需真实解的无监督损失函数来强制满足初始条件和ODE方程，该网络实现了快速、并行的评估与可微性，显著加速了动力系统中贝叶斯推断和不确定性传播等任务。

ABSTRACT

The time evolution of dynamical systems is frequently described by ordinary differential equations (ODEs), which must be solved for given initial conditions. Most standard approaches numerically integrate ODEs producing a single solution whose values are computed at discrete times. When many varied solutions with different initial conditions to the ODE are required, the computational cost can become significant. We propose that a neural network be used as a solution bundle, a collection of solutions to an ODE for various initial states and system parameters. The neural network solution bundle is trained with an unsupervised loss that does not require any prior knowledge of the sought solutions, and the resulting object is differentiable in initial conditions and system parameters. The solution bundle exhibits fast, parallelizable evaluation of the system state, facilitating the use of Bayesian inference for parameter estimation in real dynamical systems.

研究动机与目标

• 解决在多个初始条件和参数下对ODE进行数值积分的高计算成本问题。
• 克服标准ODE求解器的局限性，后者是串行的且难以在时间上并行化。
• 在无需重新训练的情况下，实现对不同初始条件和参数下系统状态的高效、可微评估。
• 支持需要重复求解的任务，如动力系统中的贝叶斯推断和不确定性传播。
• 开发一种紧凑、可重用的ODE解表示方法，其内存效率优于查表法，且在并行化时速度可媲美传统求解器。

提出的方法

• 将解包定义为在一系列初始条件 $\mathbf{x}_0$ 和参数 $\bm{\theta}$ 上的ODE解集合，以时间 $t$ 为参数。
• 构建神经网络试解 $\hat{\mathbf{x}}(t; \mathbf{x}_0, \bm{\theta}) = \mathbf{x}_0 + a(t)\mathbf{N}(t; \mathbf{x}_0, \bm{\theta}; \mathbf{w})$，其中 $a(t_0) = 0$ 确保初始条件满足。
• 使用一种无需真实解的无监督损失函数进行网络训练，该损失函数惩罚对ODE方程和初始条件的违反。
• 利用自动微分在损失函数中计算导数，实现对ODE结构的反向传播。
• 应用课程学习和加权损失函数以改善全局误差和训练稳定性。
• 确保最终模型对初始条件和系统参数均具有可微性，从而支持基于梯度的优化。

实验结果

研究问题

• RQ1 能否训练单个神经网络以近似在不同初始条件和参数下的一族ODE解？
• RQ2 所提出的解包方法是否相比像Runge-Kutta这样的串行数值求解器，能够实现更快、可并行的评估？
• RQ3 在误差和计算成本方面，神经网络解包方法与传统求解器（如RK4）和查表法相比，其准确性如何？
• RQ4 解包在无需重新训练的情况下，能在多大程度上被复用于不同应用？
• RQ5 解包对初始条件和参数的可微性，能否在贝叶斯推断等下游任务中被有效利用？

主要发现

• 该神经网络解包在每次评估中仅需少量FLOPs，即可达到与RK4相当的精度，尤其在并行化时表现更优。
• 对于谐振子ODE，32通道网络在测试集上的平均绝对误差低于0.01，且90%的误差集中在狭窄范围内。
• 该方法在内存效率上优于查表法，在实现相似精度的同时，存储需求低几个数量级。
• 该方法可实现对大量初始条件和参数的系统状态的快速、并行评估，显著降低高吞吐量任务的计算时间。
• 训练后的网络对初始条件和参数均具有可微性，可支持反向问题和贝叶斯推断中的基于梯度的优化。
• 训练的计算成本可通过重复使用得到补偿，尤其当同一ODE在不同条件下被多次求解时，该方法在大规模应用中具有成本效益。