[论文解读] Unsupervised Learning for Physical Interaction through Video Prediction

Chelsea Finn, Ian Goodfellow+1 more|arXiv (Cornell University)|May 23, 2016

Human Pose and Action Recognition参考文献 28被引用 266

一句话总结

本文介绍了基于动作条件的视频预测模型，将前一帧的像素转换为未来帧，从而实现对物理相互作用的无监督学习，并对未见对象进行泛化，以及一个机器人推挤数据集。

ABSTRACT

A core challenge for an agent learning to interact with the world is to predict how its actions affect objects in its environment. Many existing methods for learning the dynamics of physical interactions require labeled object information. However, to scale real-world interaction learning to a variety of scenes and objects, acquiring labeled data becomes increasingly impractical. To learn about physical object motion without labels, we develop an action-conditioned video prediction model that explicitly models pixel motion, by predicting a distribution over pixel motion from previous frames. Because our model explicitly predicts motion, it is partially invariant to object appearance, enabling it to generalize to previously unseen objects. To explore video prediction for real-world interactive agents, we also introduce a dataset of 59,000 robot interactions involving pushing motions, including a test set with novel objects. In this dataset, accurate prediction of videos conditioned on the robot's future actions amounts to learning a "visual imagination" of different futures based on different courses of action. Our experiments show that our proposed method produces more accurate video predictions both quantitatively and qualitatively, when compared to prior methods.

研究动机与目标

• 从未标注的视频数据中学习物体的物理运动。
• 通过变换前一帧的像素来预测长时序的未来帧。
• 通过聚焦像素运动而非外观来将预测推广到未见对象。
• 提供一个适用于互动代理规划的动作条件预测框架。

提出的方法

• 提出三种将前一帧像素转换的运动预测模块：Dynamic Neural Advection (DNA)、Convolutional DNA (CDNA) 和 Spatial Transformer Predictors (STP)。
• 将多个预测运动变换与学习到的组合掩码相结合，形成单一的下一个帧预测。
• 使用动作条件卷积LSTM来建模时序动态，并将机器人状态与动作整合到预测中。
• 使用真实世界视频数据的L2重构损失进行训练，并在适用时执行计划采样以改进序列预测。
• 通过在机器人推挤数据和 Human3.6M 人体运动数据上，将基于运动的预测模型与帧重构基线进行比较来评估。

实验结果

研究问题

• RQ1 基于运动的像素变换模型是否能够在真实场景中以代理动作为条件预测未来帧？
• RQ2 面向对象的运动预测器（CDNA 与 STP）在未见对象上的泛化是否优于帧重构基线？
• RQ3 在真实数据集上，预测像素运动与重构帧用于长时序视频预测相比如何？
• RQ4 无监督视频预测能否支持在不同动作下的规划和对未来结果的视觉化想象？

主要发现

• 基于运动的预测器（DNA、CDNA、STP）在机器人推挤和人体运动数据集上优于帧重构基线。
• CDNA 和 STP 通过学习掩码，生成更具可解释性的面向对象的表示，用于组合多个运动预测。
• 这些模型在多步时间步的距离为 10–18 次的量化指标（PSNR/SSIM）和定性视频预测方面表现更好。
• 学习到的预测器在未见对象上仍然有效，凸显对外观的部分不变性以及对运动的重视。