[论文解读] PIP: Physical Interaction Prediction via Mental Imagery with Span Selection.

Jiafei Duan, Samson Yu+3 more|arXiv (Cornell University)|Sep 10, 2021

Human Pose and Action Recognition参考文献 69被引用 5

一句话总结

本文提出 PIP，一种新颖的物理交互预测框架，通过深度生成模型利用心理意象来合成未来视频帧，并采用跨度选择法识别交互预测中的关键帧。PIP 在一个新型合成 3D 视频数据集上优于基线模型和人类表现，展示了在预测已见与未见物体物理交互时更高的准确率与可解释性。

ABSTRACT

To align advanced artificial intelligence (AI) with human values and promote safe AI, it is important for AI to predict the outcome of physical interactions. Even with the ongoing debates on how humans predict the outcomes of physical interactions among objects in the real world, there are works attempting to tackle this task via cognitive-inspired AI approaches. However, there is still a lack of AI approaches that mimic the mental imagery humans use to predict physical interactions in the real world. In this work, we propose a novel PIP scheme: Physical Interaction Prediction via Mental Imagery with Span Selection. PIP utilizes a deep generative model to output future frames of physical interactions among objects before extracting crucial information for predicting physical interactions by focusing on salient frames using span selection. To evaluate our model, we propose a large-scale SPACE+ dataset of synthetic video frames, including three physical interaction events in a 3D environment. Our experiments show that PIP outperforms baselines and human performance in physical interaction prediction for both seen and unseen objects. Furthermore, PIP's span selection scheme can effectively identify the frames where physical interactions among objects occur within the generated frames, allowing for added interpretability.

研究动机与目标

• 开发一种模仿人类心理意象的 AI 框架，用于预测物体之间的物理交互。
• 解决现有 AI 方法在物理交互预测中未能模拟心理模拟认知过程的缺陷。
• 通过跨度选择识别交互发生的帧，提升物理交互预测的可解释性。
• 在已见与未见物体上评估模型，确保其在训练数据之外的泛化能力。

提出的方法

• 使用深度生成模型在 3D 环境中合成物体物理交互的未来帧。
• 该模型生成一系列视频帧，表示物体交互的潜在未来状态。
• 对生成帧应用跨度选择，以识别物理交互发生的最显著帧。
• 将选定帧用作最终交互预测的输入，从而提升可解释性与准确率。
• 该框架整合心理意象模拟与基于注意力的帧选择机制，以提升预测保真度。
• 引入大规模合成数据集 SPACE+，用于在三种不同物理交互事件上训练与评估模型。

实验结果

研究问题

• RQ1 深度生成模型能否有效模拟心理意象，以预测物体之间的未来物理交互？
• RQ2 跨度选择在多大程度上能识别出对物理交互预测最具信息量的帧？
• RQ3 PIP 框架是否能在未见物体的物理交互预测中实现泛化？
• RQ4 该模型是否能在受控 3D 环境中超越人类在预测物理交互方面的能力？
• RQ5 跨度选择机制在多大程度上提升了可解释性与预测准确率？

主要发现

• PIP 在已见与未见物体类别上均优于所有基线模型，预测物理交互表现更优。
• 在相同任务中，PIP 在合成 3D 环境下的预测准确率超过人类表现。
• 跨度选择机制成功识别出物理交互发生的帧，显著提升了模型可解释性。
• 该模型对未见物体具有良好的泛化能力，表明其具备强大的零样本泛化能力。
• 在帧生成中引入心理意象显著提升了预测交互序列的质量与相关性。
• SPACE+ 数据集使在多样化合成条件下对物理交互预测进行稳健评估成为可能。