[论文解读] Streaming Long Video Understanding with Large Language Models

Rui Qian, Xiaoyi Dong+5 more|arXiv (Cornell University)|May 25, 2024

COVID-19 diagnosis using AI被引用 4

一句话总结

该论文提出 VideoStreaming，一种视觉-语言大模型，通过在片段间传播上下文记忆并自适应选择与问题相关的记忆，实现对任意长视频的流式、固定内存编码。通过使用合成长视频数据进行端到端训练，该方法在长视频基准测试中实现了更高的准确率和效率，同时保留了时间动态性并减少了冗余。

ABSTRACT

This paper presents VideoStreaming, an advanced vision-language large model (VLLM) for video understanding, that capably understands arbitrary-length video with a constant number of video tokens streamingly encoded and adaptively selected. The challenge of video understanding in the vision language area mainly lies in the significant computational burden caused by the great number of tokens extracted from long videos. Previous works rely on sparse sampling or frame compression to reduce tokens. However, such approaches either disregard temporal information in a long time span or sacrifice spatial details, resulting in flawed compression. To address these limitations, our VideoStreaming has two core designs: Memory-Propagated Streaming Encoding and Adaptive Memory Selection. The Memory-Propagated Streaming Encoding architecture segments long videos into short clips and sequentially encodes each clip with a propagated memory. In each iteration, we utilize the encoded results of the preceding clip as historical memory, which is integrated with the current clip to distill a condensed representation that encapsulates the video content up to the current timestamp. After the encoding process, the Adaptive Memory Selection strategy selects a constant number of question-related memories from all the historical memories and feeds them into the LLM to generate informative responses. The question-related selection reduces redundancy within the memories, enabling efficient and precise video understanding. Meanwhile, the disentangled video extraction and reasoning design allows the LLM to answer different questions about a video by directly selecting corresponding memories, without the need to encode the whole video for each question. Our model achieves superior performance and higher efficiency on long video benchmarks, showcasing precise temporal comprehension for detailed question answering.

研究动机与目标

• 解决因全视频编码导致的过度 token 数量带来的计算负担和信息丢失问题。
• 克服以往方法依赖稀疏采样或帧压缩的局限性，避免牺牲时间或空间细节。
• 在无需为每个查询重新编码整个序列的前提下，实现对长视频的精确、问题特定的推理。
• 开发一种流式架构，在保持固定长度全局记忆的同时，保留长期时间动态。
• 设计一种自适应记忆选择机制，仅检索每个问题最相关的历史记忆。

提出的方法

• 将长视频分割为短片段，并应用记忆传播的流式编码，其中每个片段的编码都整合了前一个片段的编码表示作为历史记忆。
• 使用小型仅解码器语言模型，自回归地从历史记忆与当前片段特征的拼接中提炼出一个浓缩的、固定长度的记忆。
• 在每个片段编码后附加一个摘要 token，作为后续检索和基于相似度选择的记忆标识。
• 在问答阶段，计算问题嵌入与所有片段标识之间的相似度，以选择最相关的部分历史记忆。
• 将选定的记忆与问题一同输入大型语言模型（LLM），以生成详细且上下文感知的回答，而无需重新处理完整视频。
• 采用两阶段训练：首先使用提示微调方法在单片段任务上预训练流式编码器；其次与 LLM 联合微调合成长视频问答对。

实验结果

研究问题

• RQ1 具有传播记忆的流式编码机制是否能在保持记忆大小恒定的同时，维持任意长视频的长期时间连贯性？
• RQ2 自适应记忆选择在不重新编码整个视频的前提下，检索与问题相关片段的效率如何？
• RQ3 在训练期间引入时间定位监督是否能提升模型在时间上精确定位答案的能力？
• RQ4 流式编码器的模型深度对视频表征质量和下游性能有何影响？
• RQ5 包含多轮问答对的合成长视频数据能否有效训练出具备泛化能力的长视频理解模型？

主要发现

• 该模型在 Fullset 基准上达到 44.1% 的准确率，在 Acc@GQA 上达到 17.8%，优于使用固定记忆或无记忆选择的基线方法。
• 自适应记忆选择将断点模式下的准确率下降从基线的 31.9% 降低至 15.6%，表明其在详细时间推理方面表现更优。
• 在流式编码器中使用较少层数（16 层）的模型性能优于更深的变体（32 层：41.3%），表明较浅的网络更擅长捕捉浓缩的视觉表征。
• 通过伪时间标签进行预热训练可提升定位性能，在 Next-GQA 上达到 32.2% 的 mIoU，而无监督设置下仅为 24.1%。
• 在弱监督设置下，模型更频繁地选择较晚的时间戳，表明历史记忆即使在无显式定位监督下，也能帮助保留早期上下文。
• 消融实验表明，在预热后重用时间标签无额外收益，证实预热初始化已足够使模型泛化至大规模数据。