[论文解读] VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

Boqiang Zhang, Kehan Li+13 more|ArXiv.org|Jan 22, 2025

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

VideoLLaMA3 是一个以视觉为核心的多模态基础模型，用于图像和视频理解，采用四阶段管线，强调高质量图像文本数据与以视觉为中心的架构。

ABSTRACT

In this paper, we propose VideoLLaMA3, a more advanced multimodal foundation model for image and video understanding. The core design philosophy of VideoLLaMA3 is vision-centric. The meaning of "vision-centric" is two-fold: the vision-centric training paradigm and vision-centric framework design. The key insight of our vision-centric training paradigm is that high-quality image-text data is crucial for both image and video understanding. Instead of preparing massive video-text datasets, we focus on constructing large-scale and high-quality image-text datasets. VideoLLaMA3 has four training stages: 1) Vision Encoder Adaptation, which enables vision encoder to accept images of variable resolutions as input; 2) Vision-Language Alignment, which jointly tunes the vision encoder, projector, and LLM with large-scale image-text data covering multiple types (including scene images, documents, charts) as well as text-only data. 3) Multi-task Fine-tuning, which incorporates image-text SFT data for downstream tasks and video-text data to establish a foundation for video understanding. 4) Video-centric Fine-tuning, which further improves the model's capability in video understanding. As for the framework design, to better capture fine-grained details in images, the pretrained vision encoder is adapted to encode images of varying sizes into vision tokens with corresponding numbers, rather than a fixed number of tokens. For video inputs, we reduce the number of vision tokens according to their similarity so that the representation of videos will be more precise and compact. Benefit from vision-centric designs, VideoLLaMA3 achieves compelling performances in both image and video understanding benchmarks.

研究动机与目标

• 推动一个以视觉为中心的多模态基础模型训练范式，用于图像和视频理解。
• 开发一个训练管线，优先使用高质量的图像文本数据，而非大规模的视频文本数据。
• 设计一个视觉编码器与框架，能够处理可变分辨率的图像并高效地适配视频表示。
• 实现联合视觉-语言对齐和多任务微调，以支持下游任务和视频理解。
• 通过以视觉为中心的设计，在图像和视频理解基准上展示改进的性能。

提出的方法

• 让视觉编码器适应可变分辨率的图像并产生相应的视觉令牌。
• 视觉-语言对齐，利用跨越多样类型和仅文本数据的大规模图像文本数据共同调优视觉编码器、投影器和LLM。
• 多任务微调，结合用于下游任务的图像文本SFT数据和用于种子视频理解基础的视讯文本数据。
• 以视频为中心的微调，进一步提升视频理解能力。
• 将图像编码为可变数量的视觉令牌的标记化策略，并通过相似性降低视频令牌数量，以获得准确而紧凑的视频表示。

实验结果

研究问题

• RQ1 以高质量图像文本数据为基础的以视觉为中心的训练范式，能否同时提升图像与视频理解？
• RQ2 将视觉编码器适配为可变图像分辨率对下游表现有何影响？
• RQ3 联合视觉-语言对齐、多任务微调与视频为中心的微调，对多模态理解有何影响？
• RQ4 令牌级别的自适应（可变视觉令牌）是否有益于细粒度图像与紧凑的视频表示？
• RQ5 图像文本预训练和针对性的视频微调是否能在图像和视频基准测试中取得具有竞争力的结果？

主要发现

• VideoLLaMA3 采用强调图像文本数据的四阶段训练过程，覆盖图像和视频理解。
• 该框架使用适应可变分辨率图像的视觉编码器与动态视觉令牌策略，以捕捉细粒度的图像细节。
• 联合视觉-语言对齐，利用多样化的图像文本与仅文本数据共同调优视觉编码器、投影器与 LLM。
• 多任务与以视频为中心的微调为视频理解奠定基础，并提升对视频输入的能力。
• 以视觉为中心的设计在图像和视频理解基准上展现出令人信服的性能。