[论文解读] Variational Integrator Networks for Physically Meaningful Embeddings.

Steindór Sæmundsson, Alexander Terenin+2 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了变分积分器网络（VINs），一种新颖的神经网络架构，通过嵌入基于拉格朗日力学的变分积分器——一种源自变分法的数值方法——来保持物理系统的几何结构。通过强制实现辛结构和动量守恒特性，VINs 实现了高精度的长期预测、数据高效的训练以及可解释性，在相空间和基于图像的动力系统建模任务中均表现出色。

ABSTRACT

Learning workable representations of dynamical systems is becoming an increasingly important problem in a number of application
 areas. By leveraging recent work connecting deep neural networks to systems of differential equations, we propose variational
 integrator networks, a class of neural network
 architectures designed to preserve the geometric structure of physical systems. This
 class of network architectures facilitates accurate long-term prediction, interpretability,
 and data-efficient learning, while still remaining highly flexible and capable of modeling
 complex behavior. We demonstrate that they
 can accurately learn dynamical systems from
 both noisy observations in phase space and
 from image pixels within which the unknown
 dynamics are embedded.

研究动机与目标

• 解决从有限或噪声数据中学习动力系统物理上有意义表征的挑战。
• 通过嵌入几何力学原理，克服标准深度学习模型在长期预测和可解释性方面的局限。
• 开发一种灵活但保持结构特性的神经网络架构，以维持辛结构和动量守恒。
• 实现从复杂观测（如图像像素）端到端的训练，同时保持底层物理定律。
• 在稀疏或间接测量下，提升对未知动力系统建模的数据效率和泛化能力。

提出的方法

• 将变分积分器——源自离散力学的结构保持型数值格式——集成到深度神经网络架构中。
• 基于离散欧拉-拉格朗日方程定义可微分损失函数，以在训练过程中保持几何不变量。
• 使用神经网络参数化离散拉格朗日量，从而实现对复杂动力学的灵活建模。
• 通过梯度下降在观测轨迹上进行训练，确保学习到的动力学尊重底层物理结构。
• 通过在网络中引入图像编码器，实现从原始观测（包括图像像素）的端到端训练。
• 通过在神经网络层内设计离散变分积分器，强制实现动量和辛结构的守恒。

实验结果

研究问题

• RQ1 是否可以设计一种神经网络架构，在保持灵活性的同时，保留物理系统的几何结构？
• RQ2 强制采用变分积分器结构在多大程度上提升了动力系统长期预测的准确性？
• RQ3 此类网络在多大程度上能从噪声相空间数据和基于图像的观测中进行学习？
• RQ4 与标准神经网络相比，这种结构保持设计是否显著提升了数据效率和泛化能力？
• RQ5 即使从像素等间接观测中训练，学习到的动力学是否仍可解释为具有物理意义？

主要发现

• 由于其辛结构和动量守恒的特性，变分积分器网络在长期预测方面显著优于标准神经网络。
• 该方法实现了数据高效的训练，在轨迹观测有限或存在噪声时仍表现良好。
• VINs 能够成功从图像像素中学习动力系统，展现出对间接和高维观测的强鲁棒性。
• 该架构保持了物理一致性，生成的动态过程具有可解释性和物理意义。
• 网络在长时间积分时间跨度内表现稳定，避免了标准模型中常见的能量漂移问题。
• 在相空间和基于图像的学习基准测试中，该方法在轨迹误差和不变量守恒方面均优于基线模型。