[论文解读] SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models

Mingze Xu, Mingfei Gao+6 more|arXiv (Cornell University)|Jul 22, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 SlowFast-LLaVA，一种无需微调的视频大语言模型，采用双流 SlowFast 架构，无需微调即可联合捕捉视频帧中的高分辨率空间细节与运动动态。通过以不同时间频率和空间分辨率处理帧，该模型在多个视频基准测试中实现最先进性能，超越了现有无需微调的方法以及许多经过微调的监督模型。

ABSTRACT

We propose SlowFast-LLaVA (or SF-LLaVA for short), a training-free video large language model (LLM) that can jointly capture detailed spatial semantics and long-range temporal context without exceeding the token budget of commonly used LLMs. This is realized by using a two-stream SlowFast design of inputs for Video LLMs to aggregate features from sampled frames in an effective way. Specifically, the Slow pathway extracts features at a low frame rate while keeping as much spatial detail as possible (e.g., with 12x24 tokens), and the Fast pathway operates on a high frame rate but uses a larger spatial pooling stride (e.g., downsampling 6x) to focus on the motion cues. As a result, this design allows us to adequately capture both spatial and temporal features that are beneficial for detailed video understanding. Experimental results show that SF-LLaVA outperforms existing training-free methods on a wide range of video tasks. On some benchmarks, it achieves comparable or even better performance compared to state-of-the-art Video LLMs that are fine-tuned on video datasets. Code has been made available at: https://github.com/apple/ml-slowfast-llava.

研究动机与目标

• 开发一种无需微调的视频大语言模型，有效捕捉细微的空间细节与长程时间动态，而无需额外微调。
• 解决现有无需微调方法仅使用少量帧且缺乏结构化时间建模的局限性。
• 探究基于 SlowFast 的设计是否能增强视觉-语言模型中的视频表征学习能力。
• 仅使用预训练组件，为未来视频大语言模型研究提供强大且高效的基线。

提出的方法

• 模型采用双流输入设计：Slow 路径以低采样率处理帧，以保留高分辨率空间特征（例如每帧 24×24 个 token），而 Fast 路径以高采样率处理所有帧，并采用强烈的空间下采样（例如每帧 4×4 个 token），以突出运动线索。
• 帧特征通过 CLIP-L 视觉编码器提取，并通过视觉-语言适配器对齐后，分别输入 Slow 和 Fast 路径。
• Slow 路径在空间维度上应用小步长下采样（例如 1×2），以聚合特征并保持空间细节。
• Fast 路径采用更大的空间下采样步长（例如 6×），以降低分辨率并聚焦于多帧间的时间动态。
• 来自两条路径的视觉 token 经拼接后输入预训练的 LLaVA-NeXT 大语言模型进行生成，且不进行任何微调。
• 采用提示工程策略，包括任务特定指令、输入结构描述和结构化答案格式，以提升零样本性能。

实验结果

研究问题

• RQ1 通过改进输入表征设计，无需微调的视频大语言模型能否实现与微调模型相当的性能？
• RQ2 基于 SlowFast 的双流架构在多大程度上增强了视频大语言模型对空间与时间特征的建模能力？
• RQ3 在 token 预算约束下，Slow 和 Fast 路径中帧数与分辨率的最佳平衡是什么？
• RQ4 任务特定提示与结构化答案格式在多大程度上提升了视觉-语言模型在零样本视频理解中的表现？

主要发现

• SF-LLaVA 在 8 项多样化的视频基准测试中全面超越所有现有无需微调方法，包括开放性视频问答、多选视频问答和文本生成任务。
• 在 EgoSchema 基准测试中，SF-LLaVA 使用 34B 模型达到 55.8% 的准确率，超越了比较中表现最佳的监督微调模型。
• 在 34B 模型上，Fast 路径使用 50 帧（对比 10 帧）使 EgoSchema 上性能提升 2.8%，证明了更高时间采样率的优势。
• 引入结构化答案提示使 EgoSchema 上性能提升 2.8%，ActivityNet-QA 上提升 2.3%（使用 7B 模型），凸显其对零样本推理的影响。
• 任务指令提示在多选视频问答中提升性能，但在开放性视频问答中未见提升，表明其效果具有任务依赖性。
• 描述输入为关键帧序列的输入数据提示，使 ActivityNet-QA 和 EgoSchema 上的性能均得到提升，表明其对零样本理解具有重要价值。