[论文解读] Towards Accurate Generative Models of Video: A New Metric & Challenges

Thomas Unterthiner, Sjoerd van Steenkiste+4 more|arXiv (Cornell University)|Dec 3, 2018

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了弗雷chet视频距离（FVD），一种通过使用时间感知特征表示来衡量真实与生成视频序列之间分布距离的新度量方法，用于评估视频生成模型。同时，本文还提出了StarCraft 2 Videos（SCV）基准数据集，用于测试长期记忆与关系推理能力。FVD与人类判断具有强相关性，在视频质量、时间连贯性和多样性评估方面优于SSIM和PSNR。

ABSTRACT

Recent advances in deep generative models have lead to remarkable progress in synthesizing high quality images. Following their successful application in image processing and representation learning, an important next step is to consider videos. Learning generative models of video is a much harder task, requiring a model to capture the temporal dynamics of a scene, in addition to the visual presentation of objects. While recent attempts at formulating generative models of video have had some success, current progress is hampered by (1) the lack of qualitative metrics that consider visual quality, temporal coherence, and diversity of samples, and (2) the wide gap between purely synthetic video data sets and challenging real-world data sets in terms of complexity. To this extent we propose Fréchet Video Distance (FVD), a new metric for generative models of video, and StarCraft 2 Videos (SCV), a benchmark of game play from custom starcraft 2 scenarios that challenge the current capabilities of generative models of video. We contribute a large-scale human study, which confirms that FVD correlates well with qualitative human judgment of generated videos, and provide initial benchmark results on SCV.

研究动机与目标

• 为解决当前视频生成模型评估度量中缺乏综合考虑视觉质量、时间连贯性与样本多样性的度量方法的问题。
• 开发一种无需真实视频序列即可工作的度量方法，从而实现对无条件视频生成的评估。
• 提出一个基准数据集StarCraft 2 Videos（SCV），用于测试复杂视频生成能力，如长期记忆与关系推理。
• 通过实证验证FVD与人类对视频质量判断的相关性。
• 在多个数据集和分辨率下，对当前最先进视频生成模型进行大规模基准评估。

提出的方法

• FVD通过使用3D卷积神经网络从视频片段中提取时空特征，将弗雷chetInception距离（FID）扩展至视频领域，从而捕捉帧级质量与时间动态。
• 该度量方法计算真实与生成视频特征的多变量正态分布之间的弗雷chet距离，实现分布层面的比较。
• 通过注入噪声的实验表明，FVD对帧级与时间扰动均具有敏感性，证实其鲁棒性与判别能力。
• 开展了涉及数千个视频样本的大规模人类评估实验，验证FVD与人类对视频质量感知的一致性。
• SCV基准数据集基于StarCraft 2学习环境构建，通过手工设计的游戏场景生成多样化、可扩展的视频序列，其复杂度各不相同。
• 通过大量消融实验评估不同距离函数与嵌入方式下的FVD变体，证实其稳定性与敏感性。

实验结果

研究问题

• RQ1 与传统帧级度量如SSIM和PSNR相比，FVD在多大程度上与人类对视频质量的判断相关？
• RQ2 FVD在多大程度上能够检测出生成视频中时间连贯性与视觉质量的缺陷？
• RQ3 FVD能否作为无条件视频生成的可靠评估度量，即使在缺乏真实视频序列的情况下？
• RQ4 在SCV基准测试中，当前最先进视频生成模型的失败模式是什么？
• RQ5 不同视频生成模型在SCV数据集中，针对不同视频长度、分辨率与场景复杂度的表现如何？

主要发现

• FVD与人类判断呈现强负相关（与SSIM相关系数r = -0.640，与Kendall's τ = -0.189），显著优于PSNR与SSIM在对齐人类感知方面的表现。
• 通过噪声注入实验表明，FVD对帧级与时间扰动均具有敏感性，证实其能够检测出有意义的视频质量缺陷。
• 在BAIR与KTH数据集中，最佳模型（如SAVP）的FVD得分低于100，而性能较弱的模型得分高于200，表明FVD能清晰区分模型性能。
• 在SCV基准中，所有模型在CMS场景中均表现失败，未能正确建模矿物碎片消失的正确时序；在Brawl地图中，生成的单位模糊且难以辨认。
• RTwM场景要求生成最多32帧，但所有测试模型均未能成功建模，表明这是当前视频生成模型面临的主要挑战。
• 本研究在多个数据集中评估了超过3,000个模型，计算量超过100 GPU年，为未来研究建立了全面的基准。