[论文解读] Video Frame Synthesis using Deep Voxel Flow

Ziwei Liu, Raymond A. Yeh+3 more|arXiv (Cornell University)|Feb 8, 2017

Advanced Vision and Imaging被引用 22

一句话总结

本文提出深度体素流（DVF），一种完全卷积的无监督深度学习方法，通过学习跨帧的3D体素流（时空光流）来复制并插值现有帧的像素值，从而合成中间或未来的视频帧。该方法在视频插值和外推任务中达到最先进性能，生成的输出比光流方法和端到端生成CNN更清晰、时间上更平滑，用户研究证实其感知质量与真实帧相当。

ABSTRACT

We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-of-the-art.

研究动机与目标

• 解决视频帧合成（插值与外推）的挑战，传统光流在复杂运动下失效，而深度生成模型则产生模糊结果。
• 通过避免依赖昂贵且难以扩展的真实光流监督，克服光流方法的局限性。
• 利用端到端深度学习的力量，在无需人工标注的情况下合成高质量帧，仅使用任意视频作为自监督训练数据。
• 通过学习的3D体素流从邻近帧复制像素，而非从噪声中“幻想”生成，从而提升时间一致性和感知质量。
• 在无需微调的情况下，实现对多样化视频内容和分辨率的泛化能力，包括真实世界高清视频。

提出的方法

• 通过从视频中丢弃帧并利用3D体素流层重建这些帧，以无监督方式训练一个完全卷积神经网络。
• 引入体素流层，计算跨空间和时间维度的每个像素的3D光流向量，支持源像素值的三线性插值。
• 使用重建损失最小化预测帧与真实被丢弃帧之间的像素级差异，实现无需光流监督的端到端训练。
• 在3D视频体积（通常为两帧输入）上应用三线性插值，根据学习到的流向量将源像素加权混合生成输出像素。
• 通过在UCF-101数据集上训练并在多样化的真实世界高清视频上测试，不进行适应，确保模型泛化能力。
• 由于完全卷积架构，支持任意分辨率推理，具备可扩展的部署能力。

实验结果

研究问题

• RQ1 深度网络能否通过3D体素流从现有帧复制像素，无需光流监督，实现高质量视频帧的合成？
• RQ2 学习从邻近帧流动像素值是否能产生比直接通过CNN“幻想”像素更清晰、时间上更一致的结果？
• RQ3 自监督、端到端训练的模型能否在无需微调的情况下，泛化到多样化视频内容和分辨率？
• RQ4 合成帧的感知质量与真实帧及现有最先进方法（如EpicFlow）相比如何？
• RQ5 该方法的失败模式是什么？在模糊或重复场景中，能否通过改进正则化手段缓解？

主要发现

• 所提出的深度体素流（DVF）方法在清晰度和时间一致性方面显著优于基于光流和端到端生成CNN的方法。
• 用户研究表明，DVF在统计上显著优于EpicFlow（p < 0.00001），在一半测试序列中被判断为与真实帧在视觉上无法区分。
• 原假设（DVF与真实帧在感知质量上无显著差异）的p值为0.838，表明两者在感知质量上无统计学差异。
• xt-slices的视觉分析显示，DVF保持了平滑的时间过渡，而EpicFlow由于存在零长度流向量，表现出锯齿状、不连续的运动。
• 该方法在无需微调的情况下可良好泛化至真实世界高清视频（1080×720，30 fps），证明其在多样化内容和运动类型下的鲁棒性。
• 失败案例出现在具有重复模式的场景中（如“Park”序列），由于像素对应关系模糊导致错误复制，表明需要更强的正则化。