[论文解读] Reconstruction of Ordinary Differential Equations From Time Series Data

Maxim Mai, Mark D. Shattuck+1 more|arXiv (Cornell University)|May 18, 2016

Model Reduction and Neural Networks参考文献 43被引用 5

一句话总结

本文提出了一种基于机器学习的方法，通过稀疏基学习和稀疏函数重构，从时间序列数据中重建常微分方程（ODE）系统。该方法在使用足够数据的情况下，相较于最小二乘法，实现了更高的精度，成功重建了1D、2D和3D ODE系统——包括混沌的Lorenz动力学——误差低于0.1%，即使在轨迹发散的情况下，也能保持关键动力学特征（如李雅普诺夫指数）。

ABSTRACT

We develop a numerical method to reconstruct systems of ordinary differential equations (ODEs) from time series data without {\it a priori} knowledge of the underlying ODEs using sparse basis learning and sparse function reconstruction. We show that employing sparse representations provides more accurate ODE reconstruction compared to least-squares reconstruction techniques for a given amount of time series data. We test and validate the ODE reconstruction method on known 1D, 2D, and 3D systems of ODEs. The 1D system possesses two stable fixed points; the 2D system possesses an oscillatory fixed point with closed orbits; and the 3D system displays chaotic dynamics on a strange attractor. We determine the amount of data required to achieve an error in the reconstructed functions to less than $0.1\%$. For the reconstructed 1D and 2D systems, we are able to match the trajectories from the original ODEs even at long times. For the 3D system with chaotic dynamics, as expected, the trajectories from the original and reconstructed systems do not match at long times, but the reconstructed and original models possess similar Lyapunov exponents. Now that we have validated this ODE reconstruction method on known models, it can be employed in future studies to identify new systems of ODEs using time series data from deterministic systems for which there is no currently known ODE model.

研究动机与目标

• 开发一种无需预先知晓底层方程的、基于数据驱动的ODE系统重建方法。
• 通过利用系统动力学的稀疏表示，提升传统最小二乘法的重建精度。
• 在已知的1D、2D和3D ODE系统上验证该方法，其动力学特性包括固定点、极限环和混沌。
• 确定实现高精度重建所需的数据要求（采样间隔、轨迹长度、轨迹数量）。
• 为未来在物理和生物系统中从实验时间序列数据中发现未知ODE模型铺平道路。

提出的方法

• 该方法采用稀疏字典学习，以识别能稀疏表示时间序列数据的基。
• 使用L1-范数正则化回归，寻找在所学基中数据的最稀疏展开，以最小化非零系数的数量。
• 重构的ODE函数被表示为从数据中导出的基函数的稀疏组合，从而实现对真实动力学的精确近似。
• 通过使用稀疏编码技术求解欠定方程组，重构向量场f₁、f₂、f₃。
• 通过将重构ODE的轨迹与原始系统的轨迹进行比较，对重构过程进行验证。
• 在不同数据量、采样间隔和轨迹长度下测试该方法，以评估其鲁棒性和精度。

实验结果

研究问题

• RQ1 稀疏表示技术是否能比最小二乘法更准确地从时间序列数据中重建ODE？
• RQ2 实现重建误差低于0.1%所需的最少时间序列数据量是多少？
• RQ3 重构的ODE在长期动力学上对原始系统（尤其是混沌区域）的再现能力如何？
• RQ4 当轨迹发散时，重构系统是否仍能保持关键动力学不变量（如李雅普诺夫指数）？
• RQ5 该方法在多大程度上能重构具有复杂动力学的系统，包括固定点、极限环和奇异吸引子？

主要发现

• 当使用足够时间序列数据时，该方法的重建误差低于0.1%，表明其在重建ODE系统方面具有极高精度。
• 对于具有两个稳定固定点的1D系统，重构的ODE能长期准确再现原始轨迹。
• 对于2D的Lotka-Volterra系统，重构的ODE产生闭合轨道，但更长的轨迹和更小的采样间隔可提高部分初始条件下的精度。
• 对于3D混沌Lorenz系统，尽管由于对初值敏感性，长期轨迹会发散，但重构系统与原始系统共享相似的李雅普诺夫指数。
• 与相同数据量下的最小二乘法相比，使用稀疏表示显著提升了重建精度。
• 该方法能够从未知的实验时间序列数据中发现未知ODE模型，尤其适用于当前尚无解析模型的系统。