[论文解读] PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning

Lin Xu, Yilin Zhao+4 more|arXiv (Cornell University)|Apr 25, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出PLLaVA，一种无需参数的模型，通过在时间维度上应用特征池化来缓解高范数视觉特征导致的性能饱和问题，从而将基于图像的LLaVA扩展至视频密集字幕任务。在Video ChatGPT（3.48/5，较GPT4V提升9%）和MVBench（58.1%准确率，较GPT4V提升14.5%）上均取得当前最优性能，证明了该方法在无需额外参数或微调的情况下具备更强的鲁棒性与可扩展性。

ABSTRACT

Vision-language pre-training has significantly elevated performance across a wide range of image-language applications. Yet, the pre-training process for video-related tasks demands exceptionally large computational and data resources, which hinders the progress of video-language models. This paper investigates a straight-forward, highly efficient, and resource-light approach to adapting an existing image-language pre-trained model for dense video understanding. Our preliminary experiments reveal that directly fine-tuning pre-trained image-language models with multiple frames as inputs on video datasets leads to performance saturation or even a drop. Our further investigation reveals that it is largely attributed to the bias of learned high-norm visual features. Motivated by this finding, we propose a simple but effective pooling strategy to smooth the feature distribution along the temporal dimension and thus reduce the dominant impacts from the extreme features. The new model is termed Pooling LLaVA, or PLLaVA in short. PLLaVA achieves new state-of-the-art performance on modern benchmark datasets for both video question-answer and captioning tasks. Notably, on the recent popular VideoChatGPT benchmark, PLLaVA achieves a score of 3.48 out of 5 on average of five evaluated dimensions, exceeding the previous SOTA results from GPT4V (IG-VLM) by 9%. On the latest multi-choice benchmark MVBench, PLLaVA achieves 58.1% accuracy on average across 20 sub-tasks, 14.5% higher than GPT4V (IG-VLM). Code is available at https://pllava.github.io/

研究动机与目标

• 解决在视频任务上微调基于图像的LLaVA时出现的性能饱和与崩溃问题。
• 在保持高性能的同时，降低训练视频-语言模型的计算与数据成本。
• 识别并缓解高范数视觉特征对字幕质量与模型鲁棒性的负面影响。
• 实现在无需重训练的情况下，有效扩展模型规模并进行后训练优化，以提升视频理解能力。
• 提升视频字幕的细节与准确性，特别是在动作与物体描述方面。

提出的方法

• 提出一种简单的时序池化策略，以平滑帧间视觉特征分布，降低高范数标记的主导性。
• 沿时间维度应用池化，以在最小化特征失真的同时保留时间上下文信息。
• 通过图像与视频微调LoRA权重的加权融合方式，实现后训练优化，以提升在低质量视频数据上的性能。
• 引入可学习的融合比例（alpha），以平衡图像与视频微调LoRA权重，针对不同基准进行优化。
• 采用基于网格的帧编码策略并结合池化，以在保留空间与时间信息的同时降低内存开销。
• 利用大语言模型固有的序列建模能力，理解时间动态，而无需显式的时间聚合操作。

实验结果

研究问题

• RQ1 为何在增加数据与模型规模的情况下，对基于图像的LLaVA进行视频数据微调仍会导致性能饱和或崩溃？
• RQ2 高范数视觉特征的主导性如何影响视频理解任务中的字幕长度与质量？
• RQ3 是否可通过时序池化在不增加参数或重训练的前提下，改善特征分布与模型鲁棒性？
• RQ4 图像与视频微调LoRA权重之间，何种融合策略能在多样化视频基准上实现最佳性能？
• RQ5 无参数适应方法是否优于现有的视频专用预训练或微调方法？

主要发现

• PLLaVA在Video ChatGPT基准上取得3.48/5的平均得分，较GPT4V（IG-VLM）提升9%。
• 在MVBench多选基准上，PLLaVA取得58.1%的平均准确率，较GPT4V（IG-VLM）高出14.5%。
• 与空间池化相比，时序池化能更有效地减少特征失真，体现在标记嵌入可视化中空间邻近特征的相似性更高。
• 在MVBench上，融合比例alpha ≈ 20时性能达到峰值；而在VCG得分上，alpha ≈ 4为最优，表明权重平衡具有任务依赖性。
• 与基线模型相比，PLLaVA生成的字幕更长、更详细，能正确识别如羽毛球而非排球等动作，表明其在动作与物体理解方面有显著提升。
• PLLaVA在模型缩放过程中保持强性能，展现出优于现有方法的可扩展性，且无性能退化现象。