[论文解读] Variational integrator graph networks for learning energy-conserving dynamical systems

Shaan Desai, Marios Mattheakis+1 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 17被引用 14

一句话总结

该论文提出变分积分图网络（VIGNs），一种新颖的神经网络架构，通过统一能量守恒、辛积分法与基于图的结构归纳偏置，从噪声数据中学习物理系统的长期动力学。通过结合高阶变分积分法（基于分区龙格-库塔方法）与图神经网络，并施加势能约束，VIGNs在单体与多体系统中均展现出优于现有物理信息模型的预测精度与数据效率。

ABSTRACT

Recent advances show that neural networks embedded with physics-informed priors significantly outperform vanilla neural networks in learning and predicting the long-term dynamics of complex physical systems from noisy data. Despite this success, there has only been a limited study on how to optimally combine physics priors to improve predictive performance. To tackle this problem we unpack and generalize recent innovations into individual inductive bias segments. As such, we are able to systematically investigate all possible combinations of inductive biases of which existing methods are a natural subset. Using this framework we introduce variational integrator graph networks-a novel method that unifies the strengths of existing approaches by combining an energy constraint, high-order symplectic variational integrators, and graph neural networks. We demonstrate, across an extensive ablation, that the proposed unifying framework outperforms existing methods, for data-efficient learning and in predictive accuracy, across both single- and many-body problems studied in the recent literature. We empirically show that the improvements arise because high-order variational integrators combined with a potential energy constraint induce coupled learning of generalized position and momentum updates which can be formalized via the partitioned Runge-Kutta method.

研究动机与目标

• 系统研究各类物理信息归纳偏置对学习能量守恒动力系统的影响。
• 识别最优的归纳偏置组合——具体为哈密顿约束、辛积分法与图结构——以提升预测性能。
• 构建一个统一框架，通过整合HNN、OGN与VIN等现有方法的核心优势，推广其通用性。
• 证明通过高阶变分积分法实现的位置-动量联合更新，可显著提升学习精度与能量守恒性能。

提出的方法

• 该方法结合图神经网络（GNN）以建模系统结构及粒子或组件之间的相互作用。
• 通过分区龙格-库塔（PRK）方法形式化高阶辛变分积分法，确保时间积分过程中的长期能量守恒。
• 通过训练神经网络预测势能函数，实现势能约束，将势能与动量解耦，从而提升学习效率。
• 利用自动微分从学习到的势能函数中计算时间导数，实现系统的能量守恒演化。
• 采用端到端训练策略，损失函数最小化状态与能量轨迹的预测误差，即使在观测数据存在噪声时亦可适用。
• 该框架支持对单个归纳偏置进行系统消融，以隔离其对性能的独立贡献。

实验结果

研究问题

• RQ1 哪种归纳偏置组合——哈密顿约束、辛积分法、图结构与势能学习——能为能量守恒系统带来最佳预测性能？
• RQ2 使用高阶变分积分法（通过PRK实现）如何改善位置与动量更新的耦合性，相较于低阶或非辛方法有何优势？
• RQ3 在噪声学习场景中，施加势能约束在多大程度上能提升数据效率与泛化能力？
• RQ4 所提出的统一框架是否能在多样化物理系统中超越现有最先进模型（如HOGNs、OGNs、HNNs与VINs）？
• RQ5 位置-动量联合学习在提升长期能量守恒与轨迹精度方面发挥何种作用？

主要发现

• VIGNs在含噪声训练数据的能量守恒系统中全面超越所有基线模型（包括HOGNs、OGNs、HNNs与VINs），在状态与能量预测上均实现更低的均方误差（MSE）。
• 在含5个弹簧的粒子系统中，VIGNs相较次优基线模型，将状态MSE降低至1/10，能量MSE降低至1/100。
• 在含噪声的3体引力系统中，VIGNs在500步内保持能量守恒，平均能量误差低于1e-3，显著优于HNN与PGN等方法。
• 消融研究证实，将高阶变分积分法与势能约束结合可带来最大性能提升，尤其在数据稀缺场景下表现突出。
• 轨迹滚动可视化显示，VIGNs在长时域内产生的轨迹比基于RK4的基线模型更精确且更稳定。
• 该方法对噪声初始条件具有强鲁棒性，25组测试初始条件下的几何平均MSE始终低于所有基线模型。