[论文解读] Video (language) modeling: a baseline for generative models of natural videos

Marc’Aurelio Ranzato, Arthur Szlam+4 more|arXiv (Cornell University)|Dec 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 302

一句话总结

本文提出一种视频语言建模方法，将视频帧视为序列中的标记，通过量化图像块和循环卷积网络来预测未来帧。该模型在自然视频上进行训练，能够生成具有非平凡运动的短视频序列，首次证明了简单、可扩展且无监督的方法可在无需显式运动建模的情况下捕捉复杂的时空动态。

ABSTRACT

We propose a strong baseline model for unsupervised feature learning using video data. By learning to predict missing frames or extrapolate future frames from an input video sequence, the model discovers both spatial and temporal correlations which are useful to represent complex deformations and motion patterns. The models we propose are largely borrowed from the language modeling literature, and adapted to the vision domain by quantizing the space of image patches into a large dictionary. We demonstrate the approach on both a filling and a generation task. For the first time, we show that, after training on natural videos, such a model can predict non-trivial motions over short video sequences.

研究动机与目标

• 开发一种强大的、可扩展的无监督特征学习基线方法，用于自然视频。
• 探究视频建模是否能在无需人工标注的情况下发现有意义的时空相关性。
• 证明将语言建模简单扩展至视觉领域，即可在短视频序列中生成逼真的运动。
• 探索使用像素级预测作为学习复杂形变与运动模式代理的可行性。

提出的方法

• 该方法将局部图像块量化为大型词典，将其视为序列中的离散标记。
• 使用带有空间卷积的循环神经网络（rNN）来建模帧间的时序依赖性。
• 通过最大化给定先前上下文下下一帧块的似然性，训练模型以预测序列中的下一帧。
• 该架构在空间和时间上共享参数，强制实现局部平稳性并降低模型复杂度。
• 提出多尺度优化，通过粗粒度预测的残差生成更高分辨率的预测。
• 生成阶段采用贪婪解码与最大激活策略，但其长期一致性表现较差。

实验结果

研究问题

• RQ1 能否使用在自然视频上训练的简单无监督模型，实现对具有非平凡运动的未来帧的预测？
• RQ2 通过语言建模原理进行视频建模，在无需显式运动建模的情况下，能在多大程度上捕捉时空结构？
• RQ3 该模型在未见视频序列上的泛化能力如何，特别是在运动与形变方面？
• RQ4 使用像素级预测与量化进行视频生成存在哪些局限性？

主要发现

• 该模型在自然视频上训练后，能够成功生成具有逼真非平凡运动的短视频序列，证明了无监督视频建模的可行性。
• 通过学习数据中的空间与时间相关性，该模型能够捕捉复杂的形变与运动模式。
• 尽管仅使用像素级预测与量化，该模型仍能在短序列上生成连贯的运动，表明其具备有效的特征学习能力。
• 由于误差累积和对静态预测的偏好，该模型在超过几帧后性能下降，凸显了其在长序列生成中的局限性。
• 量化引入了视觉伪影并增加了训练难度，但使得在全分辨率视频上实现可扩展训练成为可能。
• 该模型表明，时间递归与空间卷积足以对估计进行正则化，并在无需显式变换建模的情况下学习局部时空几何。