[论文解读] Structure-preserving Sparse Identification of Nonlinear Dynamics for Data-driven Modeling

Kookjin Lee, Nathaniel Trask+1 more|arXiv (Cornell University)|Sep 11, 2021

Model Reduction and Neural Networks参考文献 46被引用 8

一句话总结

本文提出了一种保持结构的稀疏识别框架，将SINDy与神经ODE统一，以学习可解释且符合物理规律的动力系统。通过在神经ODE训练流程中结合L1正则化与基于大小的剪枝，该方法能够发现黑箱ODE及保持结构的动力系统——如哈密顿系统、GENERIC系统和端口-哈密顿系统——在可逆、不可逆及混沌系统上均展现出更高的精度与稳定性。

ABSTRACT

Discovery of dynamical systems from data forms the foundation for data-driven modeling and recently, structure-preserving geometric perspectives have been shown to provide improved forecasting, stability, and physical realizability guarantees. We present here a unification of the Sparse Identification of Nonlinear Dynamics (SINDy) formalism with neural ordinary differential equations. The resulting framework allows learning of both "black-box" dynamics and learning of structure preserving bracket formalisms for both reversible and irreversible dynamics. We present a suite of benchmarks demonstrating effectiveness and structure preservation, including for chaotic systems.

研究动机与目标

• 解决在数据驱动的动力系统建模中保持物理结构（如守恒定律与热力学一致性）的挑战。
• 克服物理信息机器学习方法通常仅通过加权损失项近似强制约束的局限性。
• 开发一个统一框架，将稀疏识别（SINDy）与神经ODE结合，以实现可解释的黑箱建模与精确的结构保持。
• 通过几何形式化方法，确保学习复杂动力学（包括混沌系统）时具备保证的数学性质。
• 在多种基准测试中展示该方法的有效性，涵盖可逆、不可逆及混沌动力学。

提出的方法

• 通过学习的系数矩阵将向量场参数化为非线性基函数的稀疏组合，将SINDy形式化方法适配至神经ODE。
• 在训练过程中采用L1权重衰减与基于大小的剪枝，以强制实现稀疏性并识别出最相关的基函数集合。
• 将保持结构的形式化方法——哈密顿、GENERIC与端口-哈密顿——整合进神经ODE框架，通过构造精确嵌入物理约束。
• 使用可微分的ODE求解器（如dopri5）计算时间反向传播的梯度，实现稀疏系数矩阵的端到端训练。
• 从状态测量值与数值近似导数中构建候选函数库（如多项式、三角函数项）。
• 采用两阶段训练策略：首先使用L1正则化训练神经ODE，随后剪枝小系数以获得稀疏且可解释的模型。

实验结果

研究问题

• RQ1 稀疏识别能否被有效扩展至神经ODE，以实现对非线性动力学的可解释且保持结构的建模？
• RQ2 所提出的SINDy-NODE框架在发现可逆系统（如哈密顿系统）的动力学方面表现如何？
• RQ3 该框架能否准确识别并保持不可逆系统（如受GENERIC或端口-哈密顿形式化支配的系统）的结构？
• RQ4 将保持结构的形式化方法整合后，是否能提升预测精度与数值稳定性，尤其是在混沌系统中？
• RQ5 在训练此类模型时，实际面临哪些挑战，特别是数值下溢与对初始化的敏感性问题？

主要发现

• 所提出的SINDy-NODE框架通过结合稀疏回归与神经ODE，成功学习了可解释的动力学，准确识别出控制方程，表现出高精度。
• 哈密顿、GENERIC与端口-哈密顿等保持结构的形式化方法被有效嵌入模型，确保了能量与熵等物理量的精确守恒。
• 该方法在混沌系统上表现出稳健性能，保持了长期稳定性与超越传统黑箱模型的准确预测能力。
• 基于大小的剪枝有效消除了无关的基函数，生成了紧凑且可解释的模型，且未牺牲预测精度。
• 该框架通过精确强制物理约束，避免了经验性损失加权，因此优于传统物理信息机器学习方法。
• 观察到数值挑战（如自适应ODE求解器中的下溢），但通过仔细初始化与批量大小调优得以缓解。