[论文解读] PG-Video-LLaVA: Pixel Grounding Large Video-Language Models

Shehan Munasinghe, R. Thushara+5 more|arXiv (Cornell University)|Nov 22, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

PG-Video-LLaVA 是首个具备像素级定位能力的基于视频的大型多模态模型，通过整合语音转录文本与一种基于追踪的定位模块，实现对自然语言指令下物体的精准定位。该模型在使用开源 Vicuna 模型进行可复现评估的前提下，在视频定位与零样本问答基准测试中均达到最先进性能。

ABSTRACT

Extending image-based Large Multimodal Models (LMMs) to videos is challenging due to the inherent complexity of video data. The recent approaches extending image-based LMMs to videos either lack the grounding capabilities (e.g., VideoChat, Video-ChatGPT, Video-LLaMA) or do not utilize the audio-signals for better video understanding (e.g., Video-ChatGPT). Addressing these gaps, we propose PG-Video-LLaVA, the first LMM with pixel-level grounding capability, integrating audio cues by transcribing them into text to enrich video-context understanding. Our framework uses an off-the-shelf tracker and a novel grounding module, enabling it to spatially localize objects in videos following user instructions. We evaluate PG-Video-LLaVA using video-based generative and question-answering benchmarks and introduce new benchmarks specifically designed to measure prompt-based object grounding performance in videos. Further, we propose the use of Vicuna over GPT-3.5, as utilized in Video-ChatGPT, for video-based conversation benchmarking, ensuring reproducibility of results which is a concern with the proprietary nature of GPT-3.5. Our framework builds on SoTA image-based LLaVA model and extends its advantages to the video domain, delivering promising gains on video-based conversation and grounding tasks. Project Page: https://github.com/mbzuai-oryx/Video-LLaVA

研究动机与目标

• 为解决现有基于视频的多模态大模型缺乏视觉定位能力的问题，从而限制其在响应中对物体进行精确定位。
• 通过语音转录技术引入音频信号，增强视频理解能力，提升多模态对话中的上下文理解。
• 通过在基准测试中用开源的 Vicuna 替代专有的 GPT-3.5，实现视频对话模型评估的可复现性。
• 构建模块化、灵活的框架，用于视频中的空间定位，便于未来集成新的定位技术。
• 引入专为评估基于提示的视频-语言模型中物体定位能力而设计的新基准。

提出的方法

• 通过将时空特征从具有稳定相机视角的视频片段中提取，并与 SoTA 图像级 LLaVA 模型进行扩展，实现对视频的建模。
• 采用现成的物体追踪器，在视频帧之间保持物体定位的一致性，将视觉片段与对话元素关联。
• 提出一种新型定位模块，将文本中的指代表达映射到视频帧中的像素级边界框。
• 通过将音频转录为文本，并与视觉与文本输入进行融合，以增强对视频上下文的理解。
• 在评估中使用 Vicuna-13b-v1.5 作为生成式大语言模型，确保透明性与可复现性，避免依赖专有模型。
• 设计模块化流水线架构，支持未来与其它定位或音频处理模块的即插即用式集成。

实验结果

研究问题

• RQ1 基于视频的多模态大模型能否在自然语言指令下实现对物体的精确像素级定位？
• RQ2 在多模态对话中，引入语音转录文本在多大程度上能提升视频理解与定位准确率？
• RQ3 在基准测试中，使用像 Vicuna 这类开源大语言模型是否能替代 GPT-3.5 等专有模型，同时保持评估的可靠性？
• RQ4 所提出的定位模块在视频定位与问答基准测试中，相较于现有方法的性能提升程度如何？
• RQ5 PG-Video-LLaVA 的模块化设计在多大程度上支持对视觉定位技术未来发展的适应性与集成能力？

主要发现

• PG-Video-LLaVA 在零样本视频问答基准测试中达到最先进性能，优于 Video-ChatGPT、Video-LLaMA、FrozenBiLM 和 Video Chat。
• 在 VidSTG 与 HC-STVG 基准测试中，PG-Video-LLaVA 展现出卓越的空间定位准确率，定性结果表明其能对目标物体实现精确的掩码叠加。
• 在复杂场景中，引入语音转录文本显著提升了模型理解能力，如图 5 所示，未使用音频的模型无法捕捉关键细节。
• 采用 Vicuna-13b-v1.5 进行评估确保了可复现性与透明性，解决了 GPT-3.5-Turbo 等专有模型的局限性。
• 模块化设计支持与其他定位模块的无缝集成，并为未来视觉定位技术的升级提供支持。
• 通过定性示例（图 1）验证，该模型能根据自然语言提示成功定位网球拍与人物等物体。