[论文解读] Multistep Neural Networks for Data-driven Discovery of Nonlinear Dynamical Systems

Maziar Raissi, Paris Perdikaris+1 more|arXiv (Cornell University)|Jan 4, 2018

Model Reduction and Neural Networks参考文献 15被引用 154

一句话总结

本文提出一种基于神经网络的方法，将多步时间积分方案与深度网络结合起来，从数据中识别非线性动力系统并预测未来状态。

ABSTRACT

The process of transforming observed data into predictive mathematical models of the physical world has always been paramount in science and engineering. Although data is currently being collected at an ever-increasing pace, devising meaningful models out of such observations in an automated fashion still remains an open problem. In this work, we put forth a machine learning approach for identifying nonlinear dynamical systems from data. Specifically, we blend classical tools from numerical analysis, namely the multi-step time-stepping schemes, with powerful nonlinear function approximators, namely deep neural networks, to distill the mechanisms that govern the evolution of a given data-set. We test the effectiveness of our approach for several benchmark problems involving the identification of complex, nonlinear and chaotic dynamics, and we demonstrate how this allows us to accurately learn the dynamics, forecast future states, and identify basins of attraction. In particular, we study the Lorenz system, the fluid flow behind a cylinder, the Hopf bifurcation, and the Glycoltic oscillator model as an example of complicated nonlinear dynamics typical of biological systems.

研究动机与目标

• 在初原理模型不可行时，激发从时间数据自动发现控制方程的动机。
• 提出一个框架，将经典的多步时间积分与神经网络结合以学习动力学。
• 在非线性与混沌系统中展示可持续学习、预测与吸引盆地识别。

提出的方法

• 将动力学表述为 d/dt x(t) = f(x(t)) 并用阶数为 M 的线性多步方法进行离散化。
• 在函数 f 上放置神经网络先验，通过最小化离散残差的均方误差损失来学习动力学。
• 使用 Adams-Bashforth、Adams-Moulton 或 BDF 家族从数据和神经网络中生成残差。
• 在相同初始条件下训练并积分学习得到的系统，以预测未来状态。
• 探讨梯形规则（M=1 Adams-Moulton）在训练中的鲁棒性表现与数据流动性。

实验结果

研究问题

• RQ1 是否可以利用多步时间积分方案与神经网络结合，从噪声或高维时间序列中准确识别非线性动力系统？
• RQ2 时间步长 Δt、数据噪声和网络架构对学习到的动力学的准确性与鲁棒性有何影响？
• RQ3 该方法能否处理参数化或变化的动力学（如分岔）并提供正确的定性行为，如吸引子或极限环？
• RQ4 通过多步产生的记忆如何影响建模非马尔可夫性或高维系统的能力，相较于蛮力序列模型的 RNN/NARMAX？

主要发现

• 该方法能够识别并再现非线性系统的动力学，如二维阻尼振子、洛伦兹混沌系统、圆柱涡街（Navier–Stokes）、Hopf 分岔，以及糖解振荡器。
• Adams-Moulton（尤其是梯形规则）通常在测试配置中给出比 Adams-Bashforth 或 BDF 更低的相对 L2 误差。
• 表现受时间步长 Δt 与数据噪声的影响，且在某些情况下观测到对输入噪声和观测快照之间更大间隔的正则化效应。
• 增加网络深度可以提高准确性，而对某些分量而言过宽会带来负面影响；通过 M 步实现的记忆相较于完全顺序的模型简化了回归。
• 该方法不仅提升了预测能力，还能够识别吸引盆地和参数化动力学（例如 Hopf 分岔中的 μ 变化）。
• 他们的框架不需要显式的时间梯度，因为导数通过所选的多步方案离散化，从而实现灵活的函数逼近。