[论文解读] RODE-Net: Learning Ordinary Differential Equations with Randomness from Data

Junyu Liu, Zichao Long+3 more|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 27被引用 4

一句话总结

RODE-Net 是一种深度学习框架，通过符号神经网络（SymNet）进行系统辨识，并利用生成对抗网络（GAN）作为数据驱动正则化，联合从数据中学习常微分方程（ODE）的符号形式及其随机参数的分布，从而在 ODE 结构恢复和参数分布估计方面均优于传统的 ℓ₁ 正则化方法。

ABSTRACT

Random ordinary differential equations (RODEs), i.e. ODEs with random parameters, are often used to model complex dynamics. Most existing methods to identify unknown governing RODEs from observed data often rely on strong prior knowledge. Extracting the governing equations from data with less prior knowledge remains a great challenge. In this paper, we propose a deep neural network, called RODE-Net, to tackle such challenge by fitting a symbolic expression of the differential equation and the distribution of parameters simultaneously. To train the RODE-Net, we first estimate the parameters of the unknown RODE using the symbolic networks \cite{long2019pde} by solving a set of deterministic inverse problems based on the measured data, and use a generative adversarial network (GAN) to estimate the true distribution of the RODE's parameters. Then, we use the trained GAN as a regularization to further improve the estimation of the ODE's parameters. The two steps are operated alternatively. Numerical results show that the proposed RODE-Net can well estimate the distribution of model parameters using simulated data and can make reliable predictions. It is worth noting that, GAN serves as a data driven regularization in RODE-Net and is more effective than the $\ell_1$ based regularization that is often used in system identifications.

研究动机与目标

• 为解决在对控制方程结构缺乏先验知识的情况下，从数据中识别随机常微分方程（RODEs）的挑战。
• 同时估计 ODE 的符号形式及其随机参数的概率分布。
• 通过引入基于数据驱动的 GAN 正则化，克服传统正则化方法（如 ℓ₁）在高维反问题中的局限性。
• 实现与真实 RODE 生成数据统计行为一致的可靠随机轨迹模拟。

提出的方法

• RODE-Net 结合 SymNet 进行符号系统辨识，从数据中恢复 ODE 结构。
• 训练一个独立的 GAN，利用观测到的数据快照来估计 ODE 随机参数的真实分布。
• 在 ODE 参数估计的训练过程中，GAN 充当数据驱动的正则化器，提升泛化能力和鲁棒性。
• 训练过程交替进行：通过确定性反问题估计 ODE 参数，同时优化基于 GAN 的参数分布。
• 该框架利用 SymNet 的高表达能力，最大限度减少对 ODE 形式先验假设的依赖。
• 将 GAN 正则化应用于降低预测误差，提升估计 ODE 系数的准确性。

实验结果

研究问题

• RQ1 深度学习框架能否在数据有限的情况下，联合学习 ODE 的符号形式及其随机参数的分布？
• RQ2 在反 ODE 问题中，基于 GAN 的正则化与传统 ℓ₁ 正则化相比，在准确性和鲁棒性方面表现如何？
• RQ3 在先验知识极少的情况下，RODE-Net 能在多大程度上恢复真实的 ODE 结构和参数分布？
• RQ4 使用 GAN 作为正则化器是否能提升 ODE 参数估计的泛化能力和预测准确性？

主要发现

• 与无 GAN 正则化的 ODE-Nets 相比，RODE-Net 显著降低了预测误差，尤其在个别 ODE 实例中表现突出。
• 在 500 个实例中，RODE-Net 的 ODE 系数估计误差的均值和标准差分别为 2.122 和 3.372，而无 GAN 的 ODE-Nets 分别为 2.093 和 3.352，表明其具有持续改进的表现。
• 在使用 GAN 正则化时，主要 ODE 项（如 $x_1x_2$、$x_2$）的估计系数更接近真实值，如系数对比表所示。
• 基于 GAN 的正则化使预测误差的直方图与真实分布对齐更好，尤其是在后期时间点（t=40,50）。
• RODE-Net 有效学习了参数分布，成功模拟出在统计上与真实 RODE 生成轨迹一致的轨迹。
• 在高维参数空间中，该框架优于 ℓ₁ 正则化，表明 GAN 在复杂反问题中更具有效性。