[论文解读] TimeChat: A Time-sensitive Multimodal Large Language Model for Long Video Understanding

Shuhuai Ren, Linli Yao+3 more|arXiv (Cornell University)|Dec 4, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

TimeChat 是一种时间敏感的多模态大语言模型，通过时间戳感知的帧编码器和滑动视频 Q-Former，增强长视频理解能力，实现实时自适应视频标记化和更优的时间定位。其在零样本设置下达到最先进性能，在 YouCook2 上 F1 提升 9.2，Charades-STA 上 R@1 提升 27.5，QVHighlights 上 HIT@1 提升 5.8，展现出在视频助手应用中强大的泛化能力。

ABSTRACT

This work proposes TimeChat, a time-sensitive multimodal large language model specifically designed for long video understanding. Our model incorporates two key architectural contributions: (1) a timestamp-aware frame encoder that binds visual content with the timestamp of each frame, and (2) a sliding video Q-Former that produces a video token sequence of varying lengths to accommodate videos of various durations. Additionally, we construct an instruction-tuning dataset, encompassing 6 tasks and a total of 125K instances, to further enhance TimeChat's instruction-following performance. Experiment results across various video understanding tasks, such as dense captioning, temporal grounding, and highlight detection, demonstrate TimeChat's strong zero-shot temporal localization and reasoning capabilities. For example, it achieves +9.2 F1 score and +2.8 CIDEr on YouCook2, +5.8 HIT@1 on QVHighlights, and +27.5 R@1 (IoU=0.5) on Charades-STA, compared to state-of-the-art video large language models, holding the potential to serve as a versatile video assistant for long-form video comprehension tasks and satisfy realistic user requirements.

研究动机与目标

• 为解决现有视频大语言模型在长视频中定位有意义事件时，因固定长度压缩和弱时间戳-视觉关联而产生的局限性。
• 开发一种可扩展且自适应的视频表示方法，以在不同长度的视频中保持时空语义。
• 通过新型指令微调数据集 TimeIT，增强对时间敏感视频任务的指令遵循能力。
• 实现在密集字幕、时间定位和亮点检测等多样化视频理解任务中的零样本泛化。
• 构建一种多功能、实用的视频助手，能够处理现实世界中的长视频理解任务。

提出的方法

• 提出一种时间戳感知的帧编码器，将视觉标记与帧级时间戳描述绑定，以强化视觉-时间戳关联。
• 提出一种滑动视频 Q-Former，利用移动窗口将视频帧压缩为可变长度的视频标记序列，实现在长视频中的自适应压缩。
• 构建 TimeIT 数据集——包含来自长视频基准的 6 项任务，共 12.5 万条实例，重新格式化为对话式、高质量的指令，用于指令微调。
• 使用 TimeIT 数据集对 TimeChat 进行指令微调，以提升下游任务的零样本性能。
• 采用 LoRA 微调方法对大语言模型头部进行优化，并保持模块化设计，支持语音转录文本和用户查询的集成。
• 采用两阶段架构：帧编码 → 时间标记生成 → 基于多模态输入的 LLM 响应生成。

实验结果

研究问题

• RQ1 通过显式建模视觉内容与时间戳之间的关系，多模态大语言模型是否能在长视频中实现准确的时间定位？
• RQ2 如何在不损失语义保真度的前提下，使视频表示对不同长度的视频具有自适应性？
• RQ3 在时间敏感数据集上进行指令微调，能在多大程度上提升在多样化视频理解任务中的零样本性能？
• RQ4 随着视频长度增加，所提出的架构与固定压缩方法相比，在可扩展性和性能方面表现如何？
• RQ5 通用型视频大语言模型是否能在多个基准的零样本设置下超越专用模型？

主要发现

• TimeChat 在 YouCook2 上实现 F1 得分提升 9.2，CIDEr 提升 2.8，显著优于先前的视频大语言模型，在零样本密集字幕和时间定位任务中表现优异。
• 在 Charades-STA 上，R@1 提升 27.5（IoU=0.5），证明其在长视频中具备强大的零样本时间定位能力。
• 在 QVHighlights 上，HIT@1 提升 5.8，表明其在无需微调的情况下，亮点检测性能更优。
• 消融实验表明，若移除滑动视频 Q-Former，F1 下降 3.0，CIDEr 下降 2.8，凸显其在语义保留中的关键作用。
• 若移除时间戳感知帧编码器，F1 下降 2.3，证实其在时间定位中的核心作用。
• 性能随输入帧数线性增长，而先前模型则趋于饱和，表明滑动窗口方法具备更优的可扩展性。