[论文解读] VideoChat: Chat-Centric Video Understanding

KunChang Li, Yinan He+7 more|arXiv (Cornell University)|May 10, 2023

Multimodal Machine Learning Applications被引用 90

一句话总结

VideoChat 提出两个端到端的以对话为中心的视频理解系统（VideoChat-Text 和 VideoChat-Embed），通过可学习接口将视频基础模型与大型语言模型融合，能够通过面向视频的指令数据进行时空推理、事件定位和因果推断。

ABSTRACT

In this paper, we initiate an attempt of developing an end-to-end chat-centric video understanding system, coined as VideoChat. It integrates video foundation models and large language models via a learnable neural interface, excelling in spatiotemporal reasoning, event localization, and causal relationship inference. To instructively tune this system, we build a video-centric instruction dataset, composed of thousands of videos associated with detailed descriptions and conversations. This dataset emphasizes spatiotemporal reasoning and captures causal relationships, providing a valuable asset for training our chat-centric video understanding system. Preliminary qualitative experiments demonstrate the potential of our system across a broad spectrum of video applications, which could serve as a simple prototype system for future research on chat-centric video understanding. Access our code and data at https://github.com/OpenGVLab/Ask-Anything

研究动机与目标

• 推动开发一个通用的、以对话为中心的、超越特定任务的视频理解系统。
• 提出通过可学习接口将视频基础模型与大型语言模型连接的体系结构。
• 创建一个以视频为中心的指令数据集，以提升在对话中的时空推理和因果推断。
• 展示两种系统变体（VideoChat-Text 和 VideoChat-Embed），能够进行多轮视频问答。
• 建立一种训练范式，以通过视频-文本和图像-视频数据源对齐视频表征与 LLM。

提出的方法

• VideoChat-Text 使用感知模型将视频内容转换为带时间戳的文本流，并采用提示方案向 LLM 进行查询。
• VideoChat-Embed 使用一个基于 BLIP-2 和 StableVicuna 的可学习 Video-Language Token Interface (VLTF)，将紧凑的视频嵌入与 LLM 融合，随后进行两阶段对齐和指令微调。
• 两阶段训练在大规模视频-文本数据上将视频编码器与 LLM 对齐，然后使用视频指令数据（描述和问答）进行微调。
• 通过利用 ChatGPT 和 GPT-4 提示，从 WebVid-10M 生成密集字幕、视频对话和问答，构建新型以视频为中心的多模态指令数据集。
• 在 VideoChat-Text 中，使用感知模型（动作、对象、字幕生成、字幕）以及音频（Whisper）将视频内容文本化以供 LLM 使用。
• 一种两阶段训练范式利用图像-字幕数据来增强视频理解，并为对话任务统一图像/视频模态。

实验结果

研究问题

• RQ1 在与 LLM 整合后，是否一个完全面向学习的端到端系统能够有效地在视频上执行时空感知和推理？
• RQ2 文本化的视频描述与紧凑的视频嵌入在多模态视频问答中的表现有何差异？
• RQ3 以视频为中心的指令数据集是否能提升视频对话任务中的时序推理和因果推断？
• RQ4 通过可学习接口将视觉基础模型与语言模型结合以进行视频理解的优点和权衡是什么？

主要发现

• VideoChat-Embed 通过利用 Video-Language Token Interface (VLTF) 和基于交叉注意力的令牌压缩，展示了对时序感知和因果推理的提升。
• VideoChat-Text 能生成带时间戳的文本描述，使 LLM 驱动的视频内容问答成为可能，作为基于文本的视频对话基线。
• 结合大规模视频-文本数据与视频中心指令的两阶段训练在视频表征与 LLM 之间的对齐效果优于单阶段方法。
• 定性案例显示 VideoChat-Embed 和 VideoChat-Text 在视频任务的感知与推理方面优于基于图像的多模态对话系统。
• 新型以视频为中心的指令数据集，通过密集字幕和视频对话生成，支持在视频理解中学习时空推理与因果关系。