[论文解读] Video-to-Video Synthesis

Ting-Chun Wang, Ming-Yu Liu+5 more|arXiv (Cornell University)|Aug 20, 2018

Advanced Vision and Imaging参考文献 78被引用 126

一句话总结

提出一个条件GAN框架，将输入视频表示（例如分割掩码、草图、姿态）转换为真实感、时序连贯的视频，采用粗到细生成器和用于图像与视频真实感的双判别器；展示了高分辨率结果和多模态能力，包括未来视频预测。

ABSTRACT

We study the problem of video-to-video synthesis, whose goal is to learn a mapping function from an input source video (e.g., a sequence of semantic segmentation masks) to an output photorealistic video that precisely depicts the content of the source video. While its image counterpart, the image-to-image synthesis problem, is a popular topic, the video-to-video synthesis problem is less explored in the literature. Without understanding temporal dynamics, directly applying existing image synthesis approaches to an input video often results in temporally incoherent videos of low visual quality. In this paper, we propose a novel video-to-video synthesis approach under the generative adversarial learning framework. Through carefully-designed generator and discriminator architectures, coupled with a spatio-temporal adversarial objective, we achieve high-resolution, photorealistic, temporally coherent video results on a diverse set of input formats including segmentation masks, sketches, and poses. Experiments on multiple benchmarks show the advantage of our method compared to strong baselines. In particular, our model is capable of synthesizing 2K resolution videos of street scenes up to 30 seconds long, which significantly advances the state-of-the-art of video synthesis. Finally, we apply our approach to future video prediction, outperforming several state-of-the-art competing systems.

研究动机与目标

• 激发并形成将输入视频表示转换为真实感输出视频的问题。
• 开发一个带有专门生成器和判别器的条件GAN框架，以确保时序连贯性和高视觉质量。
• 引入基于光流的变形与遮挡处理的时空序列生成过程。
• 通过注入实例级特征实现多模态视频合成，以获得多样化输出。
• 将该方法扩展到未来视频预测，并在多个数据集上进行评估，以展示泛化性与质量提升。

提出的方法

• 将视频对视频合成为条件分布匹配 p(xtilde1..T|s1..T) ≈ p(x1..T|s1..T) 进行形式化。
• 使用一个序列生成器 F，给定过去的输出和当前/过去的源帧来预测 xtilde_t，时间条件为 L=2。
• 将 xtilde_t 建模为通过预测的光流 W 对 xt-1 的变形，以及一个幻觉分量 H，通过软遮挡掩码 m_t 进行混合。
• 引入前景-背景先验，将前景（具有运动的物体）与背景（通常是视图稳定区域）分离以引导合成。
• 使用两个判别器：一个用于逐帧真实感的条件图像判别器 DI，以及一个用于短程和长程时间一致性的条件视频判别器 DV，以及一个基于流的损失 LW。
• 通过最小化/最大化联合优化 L = minF maxDI LI + maxDV LV + LW，并结合特征匹配损失和感知损失以稳定训练。
• 采用三尺度的粗到细生成器（512x256、1024x512、2048x1024）以获得高分辨率结果；使用多尺度 PatchGAN 判别器。
• 通过学习实例级掩码的潜在特征嵌入来实现多模态合成；在测试时从类别特定分布采样以改变输出。
• 通过先从观测帧预测未来语义，然后使用相同的合成管线将其转换为视频，扩展到未来视频预测。

实验结果

研究问题

• RQ1 条件GAN框架是否能够从可操作的输入表示（分割、草图、姿态）合成真实感、时序连贯的视频？
• RQ2 将时空目标与基于光流的变形纳入是否会比逐帧的图像到图像基线在时序连贯性和视觉质量上有所提升？
• RQ3 模型是否支持通过注入实例级特征实现多模态视频合成，从同一输入产生多样化输出？
• RQ4 该方法在长视频（例如 2K 分辨率的 30 秒）以及不同输入模态（分割掩码、草图、姿态）上的表现如何？
• RQ5 先预测未来语义再转换为视频的方法在未来视频预测中有效吗？

主要发现

• 提出的 vid2vid 方法在 Cityscapes 及相关数据集上，相对于 pix2pixHD 和 COVST 等强基线，在感知质量和时序连贯性方面表现更好，体现在人工偏好和客观指标上。
• 该模型能够生成高达 2K 分辨率、长度达 30 秒的视频，具有真实感质量并在帧间保持时序一致性。
• 相较于仅使用边缘变形，包含光流变形组件与软遮挡掩码的粗到细生成器在细节合成与稳定性方面有提升。
• 引入前景-背景先验显著提升视觉质量，消融研究显示移除时会有明显下降。
• 该方法通过对实例级特征取样来实现多模态合成，使同一输入产生多样化输出，并且能够在保持视频真实感的同时操作语义内容（如从树到建筑的变化）。
• 在未来视频预测方面，该方法实现了比竞争方法更低的 Fréchet Inception Distances 和更高的人类偏好分数，在相关评估中超过了 PredNet 和 MCNet。