[论文解读] Unsupervised Video-to-Video Translation

Dina Bashkirova, Ben Usman+1 more|arXiv (Cornell University)|Jun 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 15

一句话总结

本文提出无监督视频到视频的图像转换作为一项新任务，引入一种3D卷积神经网络（3D CycleGAN），将整个视频序列作为3D张量进行转换，以保持时空一致性。该方法在保持运动连续性、物体外观和视频间结构一致性方面显著优于逐帧转换方法，尤其在合成数据集和医学影像数据集中表现更优。

ABSTRACT

Unsupervised image-to-image translation is a recently proposed task of translating an image to a different style or domain given only unpaired image examples at training time. In this paper, we formulate a new task of unsupervised video-to-video translation, which poses its own unique challenges. Translating video implies learning not only the appearance of objects and scenes but also realistic motion and transitions between consecutive frames.We investigate the performance of per-frame video-to-video translation using existing image-to-image translation networks, and propose a spatio-temporal 3D translator as an alternative solution to this problem. We evaluate our 3D method on multiple synthetic datasets, such as moving colorized digits, as well as the realistic segmentation-to-video GTA dataset and a new CT-to-MRI volumetric images translation dataset. Our results show that frame-wise translation produces realistic results on a single frame level but underperforms significantly on the scale of the whole video compared to our three-dimensional translation approach, which is better able to learn the complex structure of video and motion and continuity of object appearance.

研究动机与目标

• 将无监督视频到视频的图像转换形式化为一项新任务，将图像到图像的转换方法扩展至视频领域，适用于未配对的数据。
• 解决在缺乏配对样本的情况下，保持视频帧之间运动一致性与物体外观一致性的挑战。
• 开发一种具有时空特性的3D图像转换模型，以捕捉全局运动模式和时间连贯性。
• 在合成数据集、真实数据集和医学视频数据集上评估该模型，包括一个新颖的MRI到CT体素数据集。
• 研究训练批次结构对逐帧图像转换模型训练稳定性与性能的影响。

提出的方法

• 提出一种3D卷积神经网络（3D CycleGAN），将视频序列视为3D张量（高度×宽度×时间）进行联合空间-时间转换。
• 将图像到图像转换中的循环一致性损失扩展至视频领域，通过在完整视频序列上强制执行 $F(G(y)) = y$ 和 $G(F(x)) = x$ 来实现。
• 引入总变差损失以减少时空伪影，提升生成视频的平滑性。
• 在训练过程中采用顺序小批量选择策略，将同一视频中的帧分组，以提高梯度一致性与模型稳定性。
• 采用对抗性训练，判别器在3D视频体积上运行，确保生成的视频与真实视频难以区分。
• 在语义分割到视频和视频到视频任务中，应用标签去噪与结构度量来评估生成结果对语义结构的保留程度。

实验结果

研究问题

• RQ1 3D视频转换模型是否能在保持运动连续性和物体一致性方面显著优于逐帧图像到图像的转换方法？
• RQ2 训练批次的结构（如顺序与随机）如何影响逐帧图像转换模型的性能？
• RQ3 在无配对样本的情况下，3D CycleGAN在多大程度上能够学习到视频序列中的全局运动模式？
• RQ4 与逐帧基线模型相比，3D模型在真实世界和医学体素视频转换任务中的表现如何？
• RQ5 采用顺序小批量选择是否能提升逐帧视频转换模型的训练稳定性与生成结果的真实感？

主要发现

• 3D CycleGAN在所有数据集上的表现均显著优于逐帧方法，人工评估显示其结果更受青睐。
• 在体素MNIST数据集中，3D CycleGAN完美捕捉了时间序列的模式，而逐帧模型未能学习到正确的顺序。
• 在GTA视频着色任务中，3D模型消除了逐帧方法常见的闪烁与形变伪影，生成了更平滑、更一致的着色结果。
• 在MRI到CT转换任务中，3D模型显著优于随机基线模型，尤其在保留颅骨和鼻腔等解剖结构方面表现更优。
• 顺序小批量选择提升了逐帧模型的性能，表明批次内样本的相似性有助于提高训练稳定性并减少运动伪影。
• 在语义分割到视频转换任务中，3D模型生成了更准确、更稳定的输出，其像素转移矩阵距离 ($||\pi_{\text{gt}} - \pi_A||_2$) 显著低于逐帧基线模型。