[论文解读] MVBench: A Comprehensive Multi-modal Video Understanding Benchmark

Kunchang Li, Yali Wang+10 more|arXiv (Cornell University)|Nov 28, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

MVBench 引入了一个全面的多模态视频理解基准，旨在评估视频推理模型在多样化、复杂任务中的表现。该基准评估模型在视频问答、动作预测和时序定位任务上的表现，其中 VideoChat2 在命中率方面达到 96.4%，平均得分 50.1，展现出该基准上的最先进性能。

ABSTRACT

With the rapid development of Multi-modal Large Language Models (MLLMs), a number of diagnostic benchmarks have recently emerged to evaluate the comprehension capabilities of these models. However, most benchmarks predominantly assess spatial understanding in the static image tasks, while overlooking temporal understanding in the dynamic video tasks. To alleviate this issue, we introduce a comprehensive Multi-modal Video understanding Benchmark, namely MVBench, which covers 20 challenging video tasks that cannot be effectively solved with a single frame. Specifically, we first introduce a novel static-to-dynamic method to define these temporal-related tasks. By transforming various static tasks into dynamic ones, we enable the systematic generation of video tasks that require a broad spectrum of temporal skills, ranging from perception to cognition. Then, guided by the task definition, we automatically convert public video annotations into multiple-choice QA to evaluate each task. On one hand, such a distinct paradigm allows us to build MVBench efficiently, without much manual intervention. On the other hand, it guarantees evaluation fairness with ground-truth video annotations, avoiding the biased scoring of LLMs. Moreover, we further develop a robust video MLLM baseline, i.e., VideoChat2, by progressive multi-modal training with diverse instruction-tuning data. The extensive results on our MVBench reveal that, the existing MLLMs are far from satisfactory in temporal understanding, while our VideoChat2 largely surpasses these leading models by over 15% on MVBench. All models and data are available at https://github.com/OpenGVLab/Ask-Anything.

研究动机与目标

• 建立一个全面的基准，用于评估多模态视频理解模型在多样化视频推理任务中的表现。
• 解决当前视频推理系统缺乏标准化、多样化且具有挑战性的评估协议的问题。
• 在统一的、多维度的评估框架下，实现对最先进模型的系统性比较。
• 支持能够理解视频中复杂视觉、语言和时间关系的模型的开发与评估。

提出的方法

• 该基准包含一系列多样化的视频理解任务，包括视频问答、动作预测和时序定位。
• 采用标准化的评估协议，使用命中率和平均得分等指标来比较模型性能。
• 评估包含多种具有复杂多轮推理需求的视频数据，以测试模型的泛化能力。
• 评估模型从一组选项中选择正确答案的能力，重点关注推理和时间理解能力。
• 该基准设计为可扩展且可扩展，支持未来对新兴视频推理模型的评估。

实验结果

研究问题

• RQ1 当前多模态视频模型在多样化、全面的视频推理任务集上的表现如何？
• RQ2 不同视频推理模型在多种评估指标下的相对表现如何？
• RQ3 统一的基准能否有效捕捉现实世界视频理解挑战的复杂性与多样性？
• RQ4 现有模型在面对视频数据中多轮、多模态推理时存在哪些局限性？

主要发现

• VideoChat2 在命中率方面达到最高的 96.4%，平均得分为 50.1，在该基准上表现最佳。
• VideoChat 的命中率为 78.2%，平均得分为 22.8，表明其在评估任务中表现中等。
• VideoChatGPT 的命中率为 64.6%，平均得分为 22.0，相较于 VideoChat2 表现较低。
• 该基准揭示了最先进模型与人类理解水平之间存在显著性能差距，凸显了进一步改进的空间。