[论文解读] Transformation-based Adversarial Video Prediction on Large-Scale Data

Pauline Luc, Aidan Clark+5 more|arXiv (Cornell University)|Mar 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 89被引用 13

一句话总结

本文提出了一种新型基于变换的循环单元（TSRU）以及改进的判别器架构，用于大规模数据集上的对抗性视频预测。通过结合运动感知特征变换与遮挡区域的直接生成，该模型实现了最先进性能，将Kinetics-600数据集上的Fréchet Video Distance（FVD）从69.2降低至25.7。

ABSTRACT

Recent breakthroughs in adversarial generative modeling have led to models capable of producing video samples of high quality, even on large and complex datasets of real-world video. In this work, we focus on the task of video prediction, where given a sequence of frames extracted from a video, the goal is to generate a plausible future sequence. We first improve the state of the art by performing a systematic empirical study of discriminator decompositions and proposing an architecture that yields faster convergence and higher performance than previous approaches. We then analyze recurrent units in the generator, and propose a novel recurrent unit which transforms its past hidden state according to predicted motion-like features, and refines it to handle dis-occlusions, scene changes and other complex behavior. We show that this recurrent unit consistently outperforms previous designs. Our final model leads to a leap in the state-of-the-art performance, obtaining a test set Frechet Video Distance of 25.7, down from 69.2, on the large-scale Kinetics-600 dataset.

研究动机与目标

• 使用对抗训练提升在Kinetics-600等大规模数据集上的视频预测性能。
• 解决标准循环单元在建模复杂运动与非遮挡区域方面的局限性。
• 开发一种可扩展且高效的循环单元，结合基于变换的特征变形与直接特征生成。
• 优化判别器架构，以加速大规模训练中的收敛并提升视频质量。
• 在保持大规模模型计算可行性的同时，实现最先进的视频预测结果。

提出的方法

• 提出一种新的判别器分解方式，相较于DVD-GAN-FP中的先前设计，显著提升了收敛速度与性能。
• 引入基于变换的空间循环单元（TSRU），通过预测类似运动的特征来变形前一隐藏状态。
• 通过为场景中非遮挡区域或新出现区域生成新特征，对变形后的特征进行优化。
• 通过逐元素拼接与卷积门控机制融合变形特征流与生成特征流。
• 在TSRU中使用动态深度可分离局部连接卷积，相比完整动态卷积显著降低参数量与计算成本。
• 将TSRU适配至DVD-GAN-FP架构中，在多个分辨率块中集成，并采用残差连接。

实验结果

研究问题

• RQ1 判别器架构的分解如何影响大规模视频预测中的训练收敛速度与视频质量？
• RQ2 一种结合基于运动的变形与直接特征生成的循环单元，是否能在视频预测中超越标准循环单元？
• RQ3 在大规模设置下，动态ConvLSTM与所提出的TSRU在计算与性能之间存在何种权衡？
• RQ4 基于变换的模块集成是否能提升视频预测在多样化场景动态下的泛化能力与真实感？
• RQ5 与先前最先进方法相比，所提出的架构在Kinetics-600上能将Fréchet Video Distance降低多少？

主要发现

• 所提出的判别器架构在Kinetics-600数据集上实现了比先前设计更快的收敛速度与更高的视频质量。
• TSRU循环单元在定性与定量评估中均持续优于标准循环单元，包括ConvGRU与动态ConvLSTM。
• TSRU的计算效率使大规模训练成为可能，其单步推理时间在批量大小为512时仅为354ms，远低于动态ConvLSTM的6.385s。
• 最终模型在Kinetics-600上的Fréchet Video Distance（FVD）达到25.7，相较先前最先进方法的69.2有显著提升。
• 定性结果表明，模型生成的运动模式高度逼真，场景过渡自然，能够有效处理非遮挡与相机运动。
• 消融实验确认，判别器改进与TSRU均对最终性能提升有显著贡献。