[论文解读] Vid2Param: Modelling of Dynamics Parameters from Video

Martin Asenov, Michael Burke+4 more|Edinburgh Research Explorer|Jul 15, 2019

Model Reduction and Neural Networks参考文献 56被引用 5

一句话总结

Vid2Param 提出了一种端到端的深度学习框架，通过将基于物理的仿真器与循环变分自编码器相结合，直接从视频流中实现对物理动力学参数（如位置、速度、恢复系数、空气阻力和重力）的在线系统辨识。该模型在模拟和真实世界环境中均实现了精确、实时的参数估计与概率性未来轨迹预测，即使在存在遮挡和视觉输入有限的情况下，也优于传统系统辨识方法。

ABSTRACT

Videos provide a rich source of information, but it is generally hard to extract dynamical parameters of interest. Inferring those parameters from a video stream would be beneficial for physical reasoning. Robots performing tasks in dynamic environments would benefit greatly from understanding the underlying environment motion, in order to make future predictions and to synthesize effective control policies that use this inductive bias. Online physical reasoning is therefore a fundamental requirement for robust autonomous agents. When the dynamics involves multiple modes (due to contacts or interactions between objects) and sensing must proceed directly from a rich sensory stream such as video, then traditional methods for system identification may not be well suited. We propose an approach wherein fast parameter estimation can be achieved directly from video. We integrate a physically based dynamics model with a recurrent variational autoencoder, by introducing an additional loss to enforce desired constraints. The model, which we call Vid2Param, can be trained entirely in simulation, in an end-to-end manner with domain randomization, to perform online system identification, and make probabilistic forward predictions of parameters of interest. This enables the resulting model to encode parameters such as position, velocity, restitution, air drag and other physical properties of the system. We illustrate the utility of this in physical experiments wherein a PR2 robot with a velocity constrained arm must intercept an unknown bouncing ball with partly occluded vision, by estimating the physical parameters of this ball directly from the video trace after the ball is released.

研究动机与目标

• 在动态环境中，实现从原始视频输入中在线、实时地进行物理动力学参数的系统辨识。
• 解决从视觉数据中直接推断复杂物理参数（尤其是具有延迟或细微影响的参数）的挑战，而无需真实状态监督。
• 开发一种能够联合推断物体状态与物理参数的模型，同时支持下游控制任务中的概率性前向预测。
• 通过在仿真中完全训练并结合领域随机化，弥合仿真到现实的差距，实现在真实机器人系统上部署时仅需极少真实世界数据。
• 在实际机器人任务中展示该方法的实用性：使用移动缓慢、视觉受限的机械臂拦截弹跳的球。

提出的方法

• 该模型结合了基于物理的仿真器与循环变分自编码器（RVAE），其中编码器将视频帧映射到物理参数的潜在表征。
• 引入额外的损失项，以确保预测参数与模拟动力学之间保持物理一致性，从而保证潜在空间符合已知的物理定律。
• 整个模型在仿真中端到端训练，使用领域随机化以增强对真实世界视觉变化的泛化能力。
• 解码器在潜在空间中生成未来轨迹，从而实现在参数估计不确定性下的概率性预测。
• 该框架支持在线推理：在每个视频帧，模型更新对物理参数的信念并预测未来状态。
• 该架构模块化且与编码器/解码器的选择无关，可与各种视觉模型和传感器模态集成。

实验结果

研究问题

• RQ1 深度学习模型能否仅从单一视频流中准确推断出多个物理参数（如重力、空气阻力、恢复系数和滚动系数），而无需真实状态监督？
• RQ2 该模型能否从模拟训练数据泛化到带有遮挡和视觉噪声的真实世界视频，从而在真实机器人场景中实现稳健的系统辨识？
• RQ3 在参数估计存在不确定性的情况下，该模型在概率性未来运动预测方面的表现如何？
• RQ4 该模型能否在视频序列中检测到物理参数的变化，从而指示环境的动态变化？
• RQ5 与纯数据驱动的基线方法相比，集成基于物理的约束是否能提升参数估计的准确性？

主要发现

• 尽管仅依赖视频输入，该模型的系统辨识精度与依赖真实初始轨迹的传统方法相当。
• 重力和空气阻力在前几帧内即被推断出，其中空气阻力因依赖于水平和垂直速度分量，需稍多帧数。
• 恢复系数在首次弹跳后的几帧内被可靠估计，表明模型能够捕捉到接触动力学。
• 滚动系数仅在轨迹后期影响运动，因此初始误差较高，但随视频推进逐渐改善，表明模型能够学习长期依赖关系。
• 当系统受到激励时，模型能成功检测到物理参数的变化，表明对动态环境变化具有鲁棒性。
• 概率性前向预测揭示了有意义的不确定性模式——例如在弹跳前后变异较大——表明模型具备在物理推理中表示认知不确定性（epistemic uncertainty）的能力。