[论文解读] Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks

Tianfan Xue, Jiajun Wu+2 more|arXiv (Cornell University)|Jul 9, 2016

Advanced Vision and Imaging参考文献 8被引用 145

一句话总结

一个使用条件变分自编码器和交叉卷积网络的概率框架，从单张图像在无监督的情况下合成多个可信的未来帧，捕捉与运动条件相关的分布。

ABSTRACT

We study the problem of synthesizing a number of likely future frames from a single input image. In contrast to traditional methods, which have tackled this problem in a deterministic or non-parametric way, we propose a novel approach that models future frames in a probabilistic manner. Our probabilistic model makes it possible for us to sample and synthesize many possible future frames from a single input image. Future frame synthesis is challenging, as it involves low- and high-level image and motion understanding. We propose a novel network structure, namely a Cross Convolutional Network to aid in synthesizing future frames; this network structure encodes image and motion information as feature maps and convolutional kernels, respectively. In experiments, our model performs well on synthetic data, such as 2D shapes and animated game sprites, as well as on real-wold videos. We also show that our model can be applied to tasks such as visual analogy-making, and present an analysis of the learned network representations.

研究动机与目标

• 动机并建模给定单一输入图像时未来帧的条件分布。
• 在没有注释的情况下学习一个内容感知的、概率性的运动表示。
• 实现对多样化、逼真的未来帧的采样，以反映内在的运动歧义。
• 展示对视觉类比推理的适用性并分析学习到的表示。

提出的方法

• 引入一个条件变分自编码器来建模 p(v|I,z) 并从 p(z|v,I) 采样以生成未来帧 J=I+v。
• 提出一个 cross convolutional layer，它对多尺度特征图应用图像相关的运动核以合成差分图 v。
• 使用覆盖四尺度金字塔的图像编码器和一个运动编码器来获得潜在运动码 z。
• 解码器将学习到的运动核和特征图结合起来以回归 Eulerian motion v。
• 使用对连续帧对的重建目标进行训练，结合 KL-divergence 正则化和重参数化。
• 测试时：从先验采样 z（经验运动分布），并为单一输入图像 I 生成多个未来帧 J=I+v。

实验结果

研究问题

• RQ1 一个概率模型是否能够在给定单个图像的条件下捕捉多种可信的未来帧？
• RQ2 学习图像区域的核权重运动的 cross convolutional network 是否比先前方法更好地建模 Eulerian motion？
• RQ3 该模型在没有监督的情况下对合成数据与真实世界视频数据的泛化能力如何？
• RQ4 学习到的表示是否能够支持诸如视觉类比推理和对运动通道的解释等任务？

主要发现

• 该模型学习到一个稀疏的高层次运动表示 z（在 z 均值中，少于 30 个 PCA 成分即可解释 95% 的方差）。
• 来自模型的采样在合成形状数据上的地面实况运动分布上非常接近，优于 flow-transfer 和 non-VAE 基线。
• 在 sprites 和真实视频数据集上，该方法生成逼真、多样的未来帧，在人工评估中得分高于基于 flow 的基线。
• 该框架通过将学到的运动关系转移到新输入，实现零样本视觉类比推理，优于一些监督的类比方法。
• 网络学习的特征图自然而然地检测出对象和轮廓，表明存在有意义的运动感知表示。