[论文解读] Probabilistic Video Generation using Holistic Attribute Control

Jiawei He, Andreas Lehrmann+3 more|arXiv (Cornell University)|Mar 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 5

一句话总结

本文提出 VideoVAE，一种基于结构化潜在空间与整体属性控制（如身份、动作）的概率视频生成框架，可生成多样化且时序一致的视频序列。通过结合变分自编码器（VAEs）与LSTM以建模时序动态，并支持属性的推理与条件生成，该模型在多个数据集上实现了视频生成质量与多样性的最先进性能。

ABSTRACT

Videos express highly structured spatio-temporal patterns of visual data. A video can be thought of as being governed by two factors: (i) temporally invariant (e.g., person identity), or slowly varying (e.g., activity), attribute-induced appearance, encoding the persistent content of each frame, and (ii) an inter-frame motion or scene dynamics (e.g., encoding evolution of the person ex-ecuting the action). Based on this intuition, we propose a generative framework for video generation and future prediction. The proposed framework generates a video (short clip) by decoding samples sequentially drawn from a latent space distribution into full video frames. Variational Autoencoders (VAEs) are used as a means of encoding/decoding frames into/from the latent space and RNN as a wayto model the dynamics in the latent space. We improve the video generation consistency through temporally-conditional sampling and quality by structuring the latent space with attribute controls; ensuring that attributes can be both inferred and conditioned on during learning/generation. As a result, given attributes and/orthe first frame, our model is able to generate diverse but highly consistent sets ofvideo sequences, accounting for the inherent uncertainty in the prediction task. Experimental results on Chair CAD, Weizmann Human Action, and MIT-Flickr datasets, along with detailed comparison to the state-of-the-art, verify effectiveness of the framework.

研究动机与目标

• 解决从单个初始帧或部分属性生成时序一致且多样化的视频序列的挑战。
• 将视频生成建模为一个概率过程，以考虑未来运动模式的不确定性。
• 通过使用解耦且可控制的属性（如身份、动作）对潜在空间进行结构化设计，提升视频生成的质量与一致性。
• 在训练过程中同时支持条件生成（给定属性）与属性推理，以增强控制能力与泛化性能。

提出的方法

• 使用 VAE 将视频帧编码为高维潜在分布，实现视觉内容的概率化编码。
• 采用 LSTM 对潜在空间中的时序动态进行建模，捕捉帧间运动的演化过程。
• 引入具有整体属性控制的结构化潜在空间，其属性可从数据中推断或在生成过程中固定。
• 应用时序条件采样，通过将每个样本基于先前潜在状态进行条件化，确保生成帧之间的一致性。
• 通过潜在空间中的分层条件后验分布，实现属性条件生成与推理的联合建模。
• 采用变分推理目标端到端训练模型，优化重构损失与KL散度项。

实验结果

研究问题

• RQ1 在部分属性控制下，生成式视频模型能否生成多样化且时序一致的视频序列？
• RQ2 潜在空间中结构化的属性控制在多大程度上提升了视频生成的质量与可控性？
• RQ3 属性推理与条件生成联合使用，能在多大程度上提升生成性能与属性解耦程度？
• RQ4 与最先进模型相比，所提出的框架在多样性、质量与一致性方面表现如何？

主要发现

• 在 MoCoGAN 基准测试中，所提出的 VideoVAE 在 inception score 上达到 69.55，显著优于基线模型 MoCoGAN（13.87）。
• 在完整属性控制（如身份与动作）下，模型生成单峰且一致的视频序列，消除了运动与外观上的不确定性。
• 在部分属性控制下（如固定动作但不固定身份），模型在不同身份间生成多样化样本，展现出可控的多样性。
• 时变属性控制可实现动作间的平滑过渡（如行走→跑步→行走），生成逼真的运动过渡效果。
• 在 Chair-CAD、Weizmann Human Action 与 MIT Flickr 数据集上的定性结果表明，该模型在结构化与非结构化场景中均能生成真实且连贯的视频。
• 消融实验验证了属性控制与时序条件采样对提升生成一致性与质量的关键作用。