[论文解读] To Create What You Tell: Generating Videos from Captions

Yingwei Pan, Zhaofan Qiu+3 more|arXiv (Cornell University)|Apr 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 13

一句话总结

本文提出 TGANs-C，一种新颖的时序生成对抗网络框架，通过整合三维时空卷积、多层级判别器以及视频真实感、图文对齐与时序一致性的联合优化，实现基于文本描述的视频生成。该模型在 MSVD 数据集上达到最先进性能，在人类评估与生成对抗度量指标上均优于基线模型。

ABSTRACT

We are creating multimedia contents everyday and everywhere. While automatic content generation has played a fundamental challenge to multimedia community for decades, recent advances of deep learning have made this problem feasible. For example, the Generative Adversarial Networks (GANs) is a rewarding approach to synthesize images. Nevertheless, it is not trivial when capitalizing on GANs to generate videos. The difficulty originates from the intrinsic structure where a video is a sequence of visually coherent and semantically dependent frames. This motivates us to explore semantic and temporal coherence in designing GANs to generate videos. In this paper, we present a novel Temporal GANs conditioning on Captions, namely TGANs-C, in which the input to the generator network is a concatenation of a latent noise vector and caption embedding, and then is transformed into a frame sequence with 3D spatio-temporal convolutions. Unlike the naive discriminator which only judges pairs as fake or real, our discriminator additionally notes whether the video matches the correct caption. In particular, the discriminator network consists of three discriminators: video discriminator classifying realistic videos from generated ones and optimizes video-caption matching, frame discriminator discriminating between real and fake frames and aligning frames with the conditioning caption, and motion discriminator emphasizing the philosophy that the adjacent frames in the generated videos should be smoothly connected as in real ones. We qualitatively demonstrate the capability of our TGANs-C to generate plausible videos conditioning on the given captions on two synthetic datasets (SBMG and TBMG) and one real-world dataset (MSVD). Moreover, quantitative experiments on MSVD are performed to validate our proposal via Generative Adversarial Metric and human study.

研究动机与目标

• 解决从自然语言描述生成时序一致且语义对齐视频的挑战。
• 通过建模时空依赖关系，将 GAN 扩展至视频生成，超越图像合成。
• 通过联合优化真实感、图文匹配与运动平滑性，提升视频质量。
• 提供一个统一框架，使视频生成同时依赖噪声与文本嵌入。
• 通过在合成数据集与真实世界数据集上的定性与定量评估，验证模型的有效性。

提出的方法

• 生成器使用三维卷积神经网络，将噪声向量与文本嵌入的拼接输入转换为视频帧序列。
• 判别器由三个并行分支组成：视频判别器、帧判别器与运动判别器，分别针对不同层次的真实感与对齐性。
• 视频判别器用于区分真实与生成视频，并验证视频与文本的匹配程度。
• 帧判别器评估帧级真实感及与文本的对齐性。
• 运动判别器通过比较真实视频与生成视频中相邻帧之间的位移，确保时序一致性。
• 模型通过三种损失组件进行端到端训练：视频级与帧级的匹配感知损失，以及基于运动一致性的时序一致性损失。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否生成既时序一致又与输入文本对齐的视频？
• RQ2 多层级判别器如何提升文本条件视频生成的质量与一致性？
• RQ3 显式建模相邻帧之间运动关系对视频真实感有何影响？
• RQ4 将文本嵌入与噪声联合使用，相较于无条件 GAN，如何提升生成质量？
• RQ5 所提出的架构在定量指标与人类评估中，相较于现有基线模型，性能提升程度如何？

主要发现

• 在 MSVD 数据集的人工评估中，TGANs-C 在真实感、相关性与时序一致性上的平均排名分别为 1.76、1.81 与 1.86，显著优于所有基线模型。
• 生成对抗度量显示，TGANs-C 相较于 VGAN 的样本比为 0.39，相较 GAN-CLS 为 0.53，表明其生成真实视频的能力更优。
• 运动判别器有效提升了时序一致性，表现为生成视频中相邻帧间过渡更加平滑。
• 帧级与视频级的匹配感知损失显著增强了生成内容与输入文本之间的对齐性。
• 模型表现出强鲁棒性，测试比值始终接近于 1，表明判别器网络未出现显著过拟合。
• 在 SBMG、TBMG 与 MSVD 上的定性结果表明，TGANs-C 生成了合理且动态的视频，其语义与输入文本描述高度匹配。