[论文解读] Which priors matter? Benchmarking models for learning latent dynamics

Aleksandar Botev, Andrew Jaegle+3 more|arXiv (Cornell University)|Nov 9, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文引入了一个包含17个多样化物理动力学数据集的基准，以严格评估将物理先验（如哈密顿力学和拉格朗日力学）融入模型以从高维观测中学习潜在动力学的性能。尽管这些先验在理论上具有吸引力，但研究发现，具有连续、时间可逆动力学的标准神经ODE模型在性能上优于物理信息模型，其中连续性和时间可逆性成为长时程泛化中最关键的归纳偏差。

ABSTRACT

Learning dynamics is at the heart of many important applications of machine learning (ML), such as robotics and autonomous driving. In these settings, ML algorithms typically need to reason about a physical system using high dimensional observations, such as images, without access to the underlying state. Recently, several methods have proposed to integrate priors from classical mechanics into ML models to address the challenge of physical reasoning from images. In this work, we take a sober look at the current capabilities of these models. To this end, we introduce a suite consisting of 17 datasets with visual observations based on physical systems exhibiting a wide range of dynamics. We conduct a thorough and detailed comparison of the major classes of physically inspired methods alongside several strong baselines. While models that incorporate physical priors can often learn latent spaces with desirable properties, our results demonstrate that these methods fail to significantly improve upon standard techniques. Nonetheless, we find that the use of continuous and time-reversible dynamics benefits models of all classes.

研究动机与目标

• 评估基于物理的归纳偏差（特别是哈密顿和拉格朗日形式）是否能提升从高维视觉数据中学习潜在动力学的性能。
• 解决现有模型在声称利用物理先验时缺乏标准化基准和公平比较的问题。
• 识别在长时程动力学预测中，哪些架构归纳偏差（如连续动力学、时间可逆性）最为有效。
• 发布一个可复现的开源基准套件，以加速从图像中学习动力学的研究进展。
• 评估物理信息模型在从简单物理系统到3D环境的广泛动力学系统中的泛化能力。

提出的方法

• 设计了一个涵盖17个数据集的基准套件，覆盖多种物理系统，包括质量-弹簧系统、分子动力学、3D相机运动以及零和博弈。
• 实现了多种模型并进行评估：哈密顿图网络（HGN）、拉格朗日图网络（LGN）、神经ODE、循环网络和自回归模型。
• 使用VPT（视频预测轨迹）分数衡量长时程泛化性能，轨迹外推至训练结束后的1000步。
• 在所有模型和数据集中采用一致的训练与评估协议，以确保公平比较。
• 训练模型以同时向前和向后预测时间，以评估时间可逆性作为归纳偏差的效果。
• 采用统一框架进行数据生成与评估，代码和数据集已开源，以确保可复现性。

实验结果

研究问题

• RQ1 包含哈密顿或拉格朗日先验的模型是否在从图像中学习潜在动力学方面显著优于标准基线？
• RQ2 哪些归纳偏差（如连续性、时间可逆性或能量守恒）对长时程动力学预测最为关键？
• RQ3 物理信息模型在从简单到复杂的多样化动力学系统中表现如何？
• RQ4 能否使用真实世界类似的视觉观测和已知运动方程，实证验证哈密顿流形假设？
• RQ5 与标准模型相比，物理先验在多大程度上降低了长时程预测的方差？

主要发现

• 在大多数任务中，引入哈密顿或拉格朗日形式等物理先验的模型并未显著优于标准神经ODE或基线模型。
• 在所有模型类别中，最有效的归纳偏差是动力学的连续性和时间可逆性，这使得长时程预测更加稳定和一致。
• 在物理信息模型中，HGN（哈密顿图网络）表现出更一致的性能且外推方差更低，而LGN（拉格朗日图网络）则更不稳定且计算成本更高。
• 在最复杂的数据集（MD-16）上，没有任何模型能实现可靠的长时程外推，表明当前从图像中建模复杂分子动力学仍存在局限。
• 仅在较简单的数据集（如质量-弹簧系统、双体系统）上实现了接近1.0的VPT分数，表明至少一种模型能有效解决这些系统，而更复杂的系统仍具挑战性。
• 尽管具有理论优势，但直接整合哈密顿/拉格朗日形式尚未在实践中带来相对于具有连续动力学和残差学习的标准神经ODE的性能提升。