[论文解读] Sparse Symplectically Integrated Neural Networks

Daniel M. DiPietro, Shiying Xiong+1 more|arXiv (Cornell University)|Jun 10, 2020

Model Reduction and Neural Networks参考文献 38被引用 9

一句话总结

该论文提出了一种稀疏哈密顿结构集成神经网络（SSINNs），这是一种可微分模型，通过将四阶辛积分与用户定义函数空间上的稀疏回归相结合，从有限且含噪声的数据中学习可解释的、能量守恒的哈密顿动力学。SSINNs 在预测精度上达到最先进水平——通常比黑箱模型高出一个数量级——同时以极少的参数提取出闭式控制方程。

ABSTRACT

We introduce Sparse Symplectically Integrated Neural Networks (SSINNs), a novel model for learning Hamiltonian dynamical systems from data. SSINNs combine fourth-order symplectic integration with a learned parameterization of the Hamiltonian obtained using sparse regression through a mathematically elegant function space. This allows for interpretable models that incorporate symplectic inductive biases and have low memory requirements. We evaluate SSINNs on four classical Hamiltonian dynamical problems: the Hénon-Heiles system, nonlinearly coupled oscillators, a multi-particle mass-spring system, and a pendulum system. Our results demonstrate promise in both system prediction and conservation of energy, often outperforming the current state-of-the-art black-box prediction techniques by an order of magnitude. Further, SSINNs successfully converge to true governing equations from highly limited and noisy data, demonstrating potential applicability in the discovery of new physical governing equations.

研究动机与目标

• 开发一种机器学习模型，从少量含噪声的数据集中学习哈密顿动力系统，同时保持物理守恒定律。
• 通过引入辛归纳偏置，解决黑箱神经网络的局限性，以提升能量守恒与泛化能力。
• 通过将稀疏回归与辛积分相结合，实现在学习过程中可解释地发现控制方程。
• 与标准深度学习方法相比，降低模型复杂度与内存需求，以适用于动力系统建模。

提出的方法

• 在神经网络中集成四阶辛积分器，以在时间演化过程中保持哈密顿系统的辛结构。
• 在用户定义的数学函数基（如多项式、三角函数项）上应用稀疏回归，以识别哈密顿量中的相关项。
• 采用可微分架构，使反向传播能够通过辛积分器，从而训练哈密顿量的参数化表示。
• 应用诱导稀疏性的 L1 惩罚，以促进模型选择仅包含物理上合理项的简洁模型。
• 端到端训练模型，使用位置和动量数据，优化预测精度的同时保持能量守恒。
• 支持连续时间预测，并可在训练后直接提取控制哈密顿方程。

实验结果

研究问题

• RQ1 一种嵌入辛积分的神经网络架构，是否能比黑箱模型更准确、更保守地学习哈密顿动力学？
• RQ2 在数据有限且含噪声的情况下，对函数空间进行稀疏回归在多大程度上能恢复哈密顿系统的真正控制方程？
• RQ3 引入辛归纳偏置在多大程度上提升了学习动力系统的泛化能力与能量守恒性能？
• RQ4 即使真实函数形式未显式包含在基函数中，模型是否仍能从数据中提取出可解释的、可手写书写的方程？
• RQ5 当基函数空间不完整或与真实系统不匹配时，模型性能如何？

主要发现

• 在四个经典哈密顿系统中，SSINNs 的预测精度比最先进黑箱预测技术高出一个数量级。
• 该模型仅需 200 个含噪声的数据点即可成功学习真实控制方程，展现出强大的数据效率。
• 即使基函数中排除了三角函数项，模型仍收敛至真实势能的五阶泰勒近似，每时间步的 L1 预测误差低至 7·10⁻⁵。
• SSINNs 所需可训练参数显著更少——通常不足黑箱模型的 1%——从而实现无需专用硬件的高效推理。
• 提取出的哈密顿量具有可解释性，且常与真实控制方程一致，支持训练后直接进行数学分析。
• 该模型对噪声和数据稀缺具有鲁棒性，表现出一致的能量守恒与稳定的长期预测性能。