[论文解读] Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems

Abishek Thangamuthu, Deepak Kumar+4 more|arXiv (Cornell University)|Nov 10, 2022

Model Reduction and Neural Networks被引用 12

一句话总结

本文评估了13种物理信息图神经网络（GNN）在模拟动力系统中的表现，结果表明显式的归纳偏置——如约束条件、动能与势能的解耦，以及哈密顿量/拉格朗日量公式——能显著提升滚动预测精度、能量与动量守恒性，并增强对更大系统规模的零样本泛化能力。所有物理信息GNN均能将泛化能力扩展至训练数据规模的十倍以上，其中Hgnn与Gnode在效率与精度之间实现了最佳平衡。

ABSTRACT

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

研究动机与目标

• 评估物理信息图神经网络（GNN）在模拟动力系统时的性能表现，重点关注精度、守恒定律与泛化能力。
• 探究不同归纳偏置（如哈密顿量、拉格朗日量与牛顿量公式）对GNN在物理系统上性能的影响。
• 评估显式约束与动能/势能解耦在提升模型泛化能力与守恒性质方面的作用。
• 考察GNN对远大于训练数据规模的系统尺寸的零样本泛化能力。
• 比较不同GNN架构在训练与推理效率方面的表现，尤其关注模型复杂度的影响。

提出的方法

• 本研究评估了13种GNN变体，包括GNN-ODE（Gnode）、哈密顿量GNN（Hgnn）、拉格朗日量GNN（Lgnn）及其带约束与解耦变体。
• 模型仅通过轨迹数据（位置与速度）进行训练，不依赖对底层方程的显式知识，通过拉格朗日量、哈密顿量或常微分方程（ODE）公式嵌入物理相关的归纳偏置。
• 归纳偏置通过网络架构设计实现：约束被显式建模，动能与势能项在笛卡尔坐标系中被解耦，以减少虚假交叉项。
• 在四种系统上评估性能：弹簧质量系统、摆系统、引力N体系统与三维可变形固体，指标包括滚动预测误差、能量/动量守恒性，以及对未见系统规模的泛化能力。
• 每种系统使用100组随机初始条件，以计算误差指标的95%置信区间。
• 测量训练与推理时间以评估计算效率，尤其关注涉及二阶导数的模型（如Lgnn）的性能。

实验结果

研究问题

• RQ1 不同物理信息归纳偏置（哈密顿量、拉格朗日量、ODE）如何影响GNN在模拟动力系统中的性能？
• RQ2 显式约束与动能/势能解耦在多大程度上能提升GNN的泛化能力与物理量守恒性？
• RQ3 物理信息GNN能否在零样本条件下泛化至比训练数据大一个数量级的系统规模？
• RQ4 在不同GNN架构中，训练/推理效率与性能之间的权衡如何，尤其对于涉及二阶导数的模型？
• RQ5 在非混沌、小位移动力学中，物理信息GNN与纯数据驱动的GNN（如FGnode）在误差与守恒性方面有何差异？

主要发现

• 所有物理信息GNN在滚动预测误差与能量/动量守恒性方面均优于纯数据驱动的FGnode基线模型，但在小位移、非混沌的三维弹性形变系统中除外。
• 在GNN架构中显式引入约束显著降低了学习难度，并在所有模型族中提升了性能。
• 在模型架构中对动能与势能项进行解耦，可大幅降低动量守恒误差，表明物理归纳偏置更加准确。
• Hgnn与Gnode在效率与性能之间实现了最佳平衡，而Lgnn由于涉及二阶导数，尽管精度未提升，却是最慢的模型。
• 所有物理信息GNN均展现出对系统规模达训练系统十倍之大的零样本泛化能力，且误差水平保持相当。
• 在三维弹性固体系统中，由于形变小且非混沌，物理信息GNN相较于数据驱动GNN未表现出显著优势，表明物理归纳偏置在复杂、混沌系统中效益最大。