[论文解读] VBench: Comprehensive Benchmark Suite for Video Generative Models

Ziqi Huang, Yinan He+14 more|arXiv (Cornell University)|Nov 29, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

VBench 为视频生成模型引入了一个全面且分层的基准测试套件，将视频质量分解为16个解耦的维度，如运动平滑度、主体身份一致性以及空间关系等，每个维度均通过定制化提示和自动化度量进行评估。该基准展现出与人类偏好高度一致的性能表现，并揭示了不同内容类型下模型的特定优势与缺陷，为未来视频生成研究提供了可操作的洞察。

ABSTRACT

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has three appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. We will open-source VBench, including all prompts, evaluation methods, generated videos, and human preference annotations, and also include more video generation models in VBench to drive forward the field of video generation.

研究动机与目标

• 解决视频生成模型缺乏全面且与人类偏好对齐的评估框架的问题。
• 克服现有度量标准（如FID、IS）与人类感知对齐性差的局限性。
• 在视频质量与一致性多个维度上提供细粒度、解耦的评估。
• 实现跨多样化内容类别和任务的视频生成模型系统性比较。
• 通过识别模型特定优势、缺陷以及视频与图像生成能力之间的差距，推动未来模型开发。

提出的方法

• 设计一个包含16个独立维度的分层解耦评估维度体系，分为两大主类别：视频质量与视频条件一致性。
• 为每个维度创建约100个文本提示，用于从各类视频生成模型生成测试视频。
• 为每个维度开发专门的评估方法，包括自动化处理流程和针对特定度量的评分机制。
• 为每个评估维度收集人类偏好标注，以验证其与人类感知的一致性。
• 在八个内容类别（如人物、动物、建筑）中评估模型性能，以分析内容类型对性能的影响。
• 对结果进行归一化和可视化处理，以支持模型间的对比分析与洞察提取。

实验结果

研究问题

• RQ1 现有视频生成度量标准在多大程度上与人类对视频质量的感知保持一致？
• RQ2 不同视频生成模型在运动平滑度、身份一致性、空间关系准确性等细粒度维度上的表现如何？
• RQ3 在关键评估维度上，视频生成模型与图像生成模型的性能差异是什么？
• RQ4 模型性能在不同内容类别（如人物与建筑）之间如何变化？
• RQ5 自动化基准评分与人类偏好标注之间的差距能揭示哪些有价值的信息？

主要发现

• VBench评估结果显示，所有16个维度的人类偏好标注之间均表现出强相关性（ρ ≈ 0.75–0.85），证实了其与人类偏好的高度一致性。
• 运动平滑度和主体身份一致性是最具挑战性的维度，许多模型在长视频序列中表现出显著退化。
• 模型在静态内容（如建筑、风景）上表现优于动态内容（如人物、动物），其中人物类视频的动态程度最高。
• 在主体身份和空间一致性等维度上，视频生成模型始终弱于图像生成模型，凸显了时间建模能力的关键差距。
• 评估揭示，基于WebVid-10M训练的模型存在分布偏差，其美学评分和数据量在不同内容类别间存在显著差异。
• 该基准成功识别出模型特定的弱点，如某些扩散模型存在时间闪烁问题，从而为架构和训练策略的针对性改进提供了依据。