[论文解读] Occlusion resistant learning of intuitive physics from videos

Ronan Riochet, Josef Šivic+2 more|arXiv (Cornell University)|Apr 30, 2020

Human Pose and Action Recognition参考文献 42被引用 7

一句话总结

该论文提出了一种概率性、组合式的框架，通过将3D物体状态建模为隐变量，并结合循环交互网络与可微分组合渲染器，实现从存在显著物体间遮挡的视频中学习直觉物理。该方法在IntPhys基准上达到最先进性能，即使在存在噪声物体检测器的真实视频中，也能准确预测未来30帧的分割掩码。

ABSTRACT

To reach human performance on complex tasks, a key ability for artificial systems is to understand physical interactions between objects, and predict future outcomes of a situation. This ability, often referred to as intuitive physics, has recently received attention and several methods were proposed to learn these physical rules from video sequences. Yet, most of these methods are restricted to the case where no, or only limited, occlusions occur. In this work we propose a probabilistic formulation of learning intuitive physics in 3D scenes with significant inter-object occlusions. In our formulation, object positions are modeled as latent variables enabling the reconstruction of the scene. We then propose a series of approximations that make this problem tractable. Object proposals are linked across frames using a combination of a recurrent interaction network, modeling the physics in object space, and a compositional renderer, modeling the way in which objects project onto pixel space. We demonstrate significant improvements over state-of-the-art in the intuitive physics benchmark of IntPhys. We apply our method to a second dataset with increasing levels of occlusions, showing it realistically predicts segmentation masks up to 30 frames in the future. Finally, we also show results on predicting motion of objects in real videos.

研究动机与目标

• 开发一种适用于严重物体间遮挡的3D场景中学习直觉物理的一般性方法。
• 在存在部分或完全遮挡的情况下，实现对物体动力学与分割掩码的准确长期预测。
• 在训练过程中无需真实帧间对应关系或精确3D标注，即可训练模型。
• 仅使用预训练物体检测器的噪声输出，将模型泛化至真实世界视频。
• 在遮挡导致数据缺失的情况下保持鲁棒性，同时确保预测结果具有物理合理性。

提出的方法

• 将3D物体位置与速度建模为隐变量，以在遮挡条件下重建场景。
• 使用循环交互网络在物体空间中建模物理动力学，以保证时间一致性。
• 采用可微分组合渲染器将3D物体状态投影至2D像素空间，以匹配观测帧。
• 在联合优化中结合物理损失与渲染损失，以推断最可能的物体轨迹。
• 利用预训练掩码检测器提供的物体提议初始化场景状态，无需真实分割标注。
• 应用近似方法使概率推理问题可处理，从而实现端到端训练。

实验结果

研究问题

• RQ1 当物体位置未被观测时，模型是否能在存在显著物体间遮挡的3D场景中学习物理动力学？
• RQ2 在训练中引入遮挡是否影响模型预测未来物体状态的能力？
• RQ3 模型是否能在不微调的情况下泛化至真实世界视频，仅使用噪声物体检测器输出？
• RQ4 与完整3D笛卡尔坐标相比，使用2.5D投影表示（如xy + 深度）是否会降低预测性能？
• RQ5 该模型的组合结构在支持可变数量物体及长时程预测方面具有多大程度的优势？

主要发现

• 该模型在IntPhys基准上达到最先进性能，优于先前方法，包括Riochet等人（2018）和Smith等人（2019）的方法。
• 在遮挡水平逐渐增加的合成数据集上，该模型能以高精度预测未来30帧的分割掩码。
• 即使仅在合成俯视PyBullet视频上进行训练，该模型也能在不微调的情况下泛化至真实世界Kinect2拍摄的彩色小球与积木视频。
• 当使用2.5D投影参考系（xy + 深度）而非完整3D笛卡尔坐标时，该模型仍保持相当的性能，表明投影几何并非根本障碍。
• 消融研究证实，物理损失与渲染损失均至关重要，两者对性能均有显著贡献。
• 该方法在使用噪声掩码检测器输出时仍表现有效，展示了从真实视频端到端学习（无需真实分割标注）的第一步。