[论文解读] Temporal Generative Adversarial Nets with Singular Value Clipping

Masaki Saito, Eiichi Matsumoto+1 more|arXiv (Cornell University)|Nov 21, 2016

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 35

一句话总结

本文提出时间生成对抗网络（TGAN），一种双流生成器架构，包含时间生成器和图像生成器，联合从无标签数据中学习视频表征。通过结合Wasserstein GAN与奇异值裁剪（SVC），该方法实现了稳定训练，并生成高质量、多样化的视频，在UCF-101和移动MNIST基准上的Inception分数和对抗性度量方面优于先前的3D GAN。

ABSTRACT

In this paper, we propose a generative model, Temporal Generative Adversarial Nets (TGAN), which can learn a semantic representation of unlabeled videos, and is capable of generating videos. Unlike existing Generative Adversarial Nets (GAN)-based methods that generate videos with a single generator consisting of 3D deconvolutional layers, our model exploits two different types of generators: a temporal generator and an image generator. The temporal generator takes a single latent variable as input and outputs a set of latent variables, each of which corresponds to an image frame in a video. The image generator transforms a set of such latent variables into a video. To deal with instability in training of GAN with such advanced networks, we adopt a recently proposed model, Wasserstein GAN, and propose a novel method to train it stably in an end-to-end manner. The experimental results demonstrate the effectiveness of our methods.

研究动机与目标

• 为解决从无标签数据中生成多样化、高质量视频的挑战，且无需依赖静态背景假设。
• 克服深度GAN在使用复杂时间与3D架构时的训练不稳定性。
• 开发一种方法，实现视频生成器的端到端训练，提升稳定性和泛化能力。
• 通过解耦潜在空间建模，自然扩展至帧插值及其他视频生成任务。
• 通过引入新型裁剪机制，消除WGAN训练中的超参数敏感性，实现稳定优化。

提出的方法

• 生成器被分解为两个组件：时间生成器将单个潜在向量映射为一系列帧特定的潜在码，图像生成器则从这些码合成视频帧。
• 判别器使用3D卷积层，以（通道数 × 时间 × 高度 × 宽度）张量格式评估真实与生成的视频片段。
• 模型采用带梯度惩罚的Wasserstein GAN以稳定训练，用基于判别器的目标替代标准GAN损失，最小化地球距离。
• 提出一种新型奇异值裁剪（SVC）方法，通过裁剪判别器权重矩阵的奇异值来强制满足判别器的Lipschitz约束，替代WGAN中使用的标准权重裁剪。
• SVC在反向传播过程中应用，以维持梯度稳定性并降低对超参数调优的敏感性。
• 通过在生成器中引入类别先验，支持条件生成，实现动作条件化的视频合成。

实验结果

研究问题

• RQ1 与端到端3D转置卷积GAN相比，解耦的双流生成器架构（时间生成器 + 图像生成器）是否能提升视频生成质量？
• RQ2 所提出的奇异值裁剪（SVC）方法是否能显著提升复杂视频生成任务中WGAN的训练稳定性？
• RQ3 TGAN模型能否在不假设静态背景的前提下生成多样化、逼真的视频序列？
• RQ4 在基准数据集上，该方法与现有GAN相比，在Inception分数和生成对抗度量（GAM）方面表现如何？
• RQ5 TGAN框架在帧插值和条件视频生成方面的可扩展性如何？

主要发现

• 在UCF-101数据集上，采用奇异值裁剪的TGAN取得11.85 ± 0.07的Inception分数，优于3D GAN（4.78 ± 0.02）和Video GAN（8.31 ± 0.09）变体。
• 带有SVC的条件TGAN取得15.83 ± 0.18的Inception分数，接近真实数据的上限（34.49 ± 0.03）。
• 在移动MNIST基准中，TGAN取得1.27的GAM分数，显著优于3D模型（1.03）和其他基线模型。
• 所提出的奇异值裁剪（SVC）方法降低了超参数敏感性，并在传统权重裁剪失效时仍能实现稳定训练。
• 定性结果表明，TGAN生成的视频序列更具多样性与真实性，运动连贯，物体动态合理。
• 解耦架构天然支持帧插值，因为时间生成器可为缺失帧生成中间潜在状态。