[论文解读] Variational Integrator Networks for Physically Structured Embeddings.

Steindór Sæmundsson, Alexander Terenin+2 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks被引用 14

一句话总结

本文提出了变分积分器网络（VINs），一种将变分积分器——源自哈密顿原理的数值方法——融入深度学习的神经网络架构，通过保留物理系统的几何结构，实现对动力系统的精确长期预测、可解释性以及数据高效学习。该方法在存在噪声和复杂性的情况下，于相空间和基于图像的动力系统建模任务中均表现出色。

ABSTRACT

Learning workable representations of dynamical systems is becoming an increasingly important problem in a number of application areas. By leveraging recent work connecting deep neural networks to systems of differential equations, we propose variational integrator networks, a class of neural network architectures designed to preserve the geometric structure of physical systems. This class of network architectures facilitates accurate long-term prediction, interpretability, and data-efficient learning, while still remaining highly flexible and capable of modeling complex behavior. We demonstrate that they can accurately learn dynamical systems from both noisy observations in phase space and from image pixels within which the unknown dynamics are embedded.

研究动机与目标

• 解决从有限或噪声数据中学习准确、可泛化且可解释的动力系统表征的挑战。
• 在神经网络架构中保留物理系统的内在几何结构（例如辛结构、动量守恒）。
• 在标准神经网络因结构不匹配而失效的复杂动力系统中，实现长期预测的高精度。
• 将深度学习方法扩展至处理显式相空间观测和隐含于图像数据中的动力学。

提出的方法

• 将变分积分器——源自离散力学的结构保持型数值求解器——集成到可微分神经网络框架中。
• 利用离散变分原理定义网络的更新规则，确保学习到的动力学尊重底层的物理辛几何结构。
• 采用可微分架构，通过学习的拉格朗日函数或基于能量的函数，将输入状态（或图像观测）映射到未来状态。
• 通过变分积分器进行反向传播，实现端到端训练，同时保持结构保持性。
• 通过卷积编码器处理图像数据，提取状态表征后再输入变分积分器模块。
• 将结构保持的更新规则与可微分损失函数结合，以同时优化精度和物理一致性。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，在保持复杂动力学灵活性的同时，保留物理系统的几何结构？
• RQ2 当在噪声或稀疏观测下训练时，此类网络在长期预测上的泛化能力如何？
• RQ3 网络在缺乏显式状态监督的情况下，能在多大程度上从原始图像像素中学习动力学？
• RQ4 与标准神经ODE或基线网络相比，结构保持是否能提升数据效率和鲁棒性？

主要发现

• 在基准动力系统上，变分积分器网络在长期预测方面显著优于标准神经ODE和基线网络。
• 该方法展现出卓越的数据效率，能够从更少且更嘈杂的训练轨迹中学习到有意义的动力学。
• VINs能够成功从图像序列中恢复底层物理规律，即使动力学嵌入于高维视觉数据中。
• 几何结构的保持使得网络在长时间范围内生成稳定且物理上合理的轨迹，避免了标准架构中常见的漂移现象。
• 通过将物理原理直接编码到网络的归纳偏置中，该架构保持了可解释性。
• 实证结果表明，VINs在相空间和基于图像的学习设置中均优于强基线模型，尤其在低数据场景下表现更优。