[论文解读] SPACE: A Simulator for Physical Interactions and Causal Learning in 3D Environments

Jiafei Duan, Samson Yu+1 more|arXiv (Cornell University)|Aug 13, 2021

Human Pose and Action Recognition参考文献 31被引用 4

一句话总结

本文提出了SPACE，一个用于基础物理交互（包含、稳定性和接触）的3D模拟器和合成视频数据集，旨在提升人工智能中的因果推理能力。通过使用课程学习方法在SPACE上对基于物理的模型（PhyDNet）进行预训练，该模型在真实世界动作数据集上的验证均方误差显著降低，表明学习基本物理交互可增强直观物理推理的鲁棒性。

ABSTRACT

Recent advancements in deep learning, computer vision, and embodied AI have given rise to synthetic causal reasoning video datasets. These datasets facilitate the development of AI algorithms that can reason about physical interactions between objects. However, datasets thus far have primarily focused on elementary physical events such as rolling or falling. There is currently a scarcity of datasets that focus on the physical interactions that humans perform daily with objects in the real world. To address this scarcity, we introduce SPACE: A Simulator for Physical Interactions and Causal Learning in 3D Environments. The SPACE simulator allows us to generate the SPACE dataset, a synthetic video dataset in a 3D environment, to systematically evaluate physics-based models on a range of physical causal reasoning tasks. Inspired by daily object interactions, the SPACE dataset comprises videos depicting three types of physical events: containment, stability and contact. These events make up the vast majority of the basic physical interactions between objects. We then further evaluate it with a state-of-the-art physics-based deep model and show that the SPACE dataset improves the learning of intuitive physics with an approach inspired by curriculum learning. Repository: https://github.com/jiafei1224/SPACE

研究动机与目标

• 为解决缺乏聚焦于3D环境中日常物理交互（如包含、稳定性和接触）的合成数据集的问题。
• 开发一个基于物理的3D模拟器（SPACE），能够生成多样化且真实的物理交互，并具备精确的动力学特性。
• 创建一个大规模视频数据集（SPACE数据集），包含超过15,000个独特视频和200万帧，涵盖三种基础物理交互类型。
• 评估在SPACE数据集上进行预训练是否能提升基于物理的深度学习模型在真实世界动作预测任务中的性能。
• 通过在真实世界数据集上进行微调前，先在基础物理交互上进行预训练，验证课程学习方法的有效性。

提出的方法

• SPACE模拟器使用可配置的物体几何形状、材料和环境条件，基于物理仿真生成3D物理交互。
• 模拟器生成多模态视频：每帧包含RGB、物体分割、光流、深度图和表面法向量。
• SPACE数据集包含15,000个独特视频，涵盖三种物理交互类型：包含（如物体在容器内）、稳定（如堆叠物体）和接触（如推或触碰）。
• 使用教师强制和自适应学习率调度，对最先进的基于物理的模型PhyDNet在SPACE数据集上进行预训练。
• 在UCF101数据集上进行微调，采用受课程学习启发的设置：模型先在SPACE上预训练，再在真实世界动作视频上微调。
• 评估使用均方误差（MSE）进行，对45个预测帧的MSE取平均，用于比较生成帧与真实值。

实验结果

研究问题

• RQ1 合成3D模拟器能否生成多样化且物理上准确的交互，真实反映人类与物体的日常互动？
• RQ2 在基础物理交互（包含、稳定、接触）上进行预训练，是否能提升基于物理的模型在真实世界视频预测任务中的性能？
• RQ3 每种独立的物理交互类型（包含、稳定、接触）在学习鲁棒物理动力学方面是否都具有必要性？
• RQ4 课程学习（先在简单物理交互上预训练，再在复杂真实世界动作上微调）在多大程度上能提升模型的泛化能力？
• RQ5 与现有数据集（如CLEVRER、CoPhy和CATER）相比，SPACE数据集在物理交互复杂度和模型性能方面表现如何？

主要发现

• 在SPACE数据集上进行预训练后，UCF101数据集上的验证损失显著降低，微调30个周期后达到最低MSE。
• 在所有三个SPACE任务（包含、稳定、接触）上进行联合预训练的实验设置，优于仅在单一任务上预训练，表明三者对鲁棒物理动力学学习均不可或缺。
• 在SPACE上预训练的模型，其验证MSE低于仅在UCF101上预训练的模型，证明了合成数据在物理推理中的优势。
• 分别在三个SPACE任务（包含、稳定、接触）上进行单独预训练的性能，劣于联合预训练，证实了三类交互类型的互补性。
• 采用课程学习方法（先在SPACE上预训练，再在UCF101上微调）的模型，在真实世界动作预测任务中收敛更快，泛化能力更强。
• SPACE数据集使PhyDNet能够学习到更精确的物理动力学，这在所有微调场景中均表现为更低的MSE。