[论文解读] One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos

Zechen Bai, Tong He+7 more|arXiv (Cornell University)|Sep 29, 2024

Subtitles and Audiovisual Media被引用 4

一句话总结

VideoLISA 是一种基于视频的多模态大语言模型，通过结合大语言模型（LLM）推理与 Segment Anything Model（SAM），实现了基于语言指令的视频推理分割。它提出了一种稀疏密集采样策略，以实现高效的时空特征编码，并采用一种单标记分割全帧（One-Token-Seg-All）方法，利用 <TRK> 标记生成时序一致的分割掩码，在视频和图像分割基准测试中（包括新的 ReasonVOS 基准）达到了最先进性能。

ABSTRACT

We introduce VideoLISA, a video-based multimodal large language model designed to tackle the problem of language-instructed reasoning segmentation in videos. Leveraging the reasoning capabilities and world knowledge of large language models, and augmented by the Segment Anything Model, VideoLISA generates temporally consistent segmentation masks in videos based on language instructions. Existing image-based methods, such as LISA, struggle with video tasks due to the additional temporal dimension, which requires temporal dynamic understanding and consistent segmentation across frames. VideoLISA addresses these challenges by integrating a Sparse Dense Sampling strategy into the video-LLM, which balances temporal context and spatial detail within computational constraints. Additionally, we propose a One-Token-Seg-All approach using a specially designed token, enabling the model to segment and track objects across multiple frames. Extensive evaluations on diverse benchmarks, including our newly introduced ReasonVOS benchmark, demonstrate VideoLISA's superior performance in video object segmentation tasks involving complex reasoning, temporal understanding, and object tracking. While optimized for videos, VideoLISA also shows promising generalization to image segmentation, revealing its potential as a unified foundation model for language-instructed object segmentation. Code and model will be available at: https://github.com/showlab/VideoLISA.

研究动机与目标

• 为解决基于语言指令的视频推理分割挑战，该任务需要具备时序理解能力，并在帧间保持一致的分割结果。
• 克服将图像模型（如 LISA）应用于视频任务时因增加时序维度而带来的局限性。
• 设计一个统一的基础模型，支持通过语言指令实现视频与图像分割。
• 提出一种在计算效率与高保真时空表征之间取得平衡的方法，适用于密集预测任务。
• 在新基准 ReasonVOS 上评估模型的推理、跟踪与泛化能力。

提出的方法

• 提出一种稀疏密集采样策略，对关键帧进行全分辨率均匀采样，同时对交错帧进行下采样，以降低计算负载，同时保留时序动态特性。
• 利用视频中固有的时序冗余性，在输入表征中平衡空间细节与时序上下文。
• 提出一种单标记分割全帧方法，利用专用的 <TRK> 标记在多帧之间编码统一的时空对象表征。
• 通过在多个帧上联合训练 <TRK> 标记，使其能够同时预测多帧的分割掩码，从而避免依赖单帧空间线索的捷径学习。
• 将多模态大语言模型与 Segment Anything Model（SAM）相结合，从自然语言指令生成高质量的分割掩码。
• 采用视频-LLM 架构，处理采样帧的视觉特征，并利用 LLM 对空间与时序内容进行联合推理。

实验结果

研究问题

• RQ1 当接收到复杂、自然语言指令时，多模态大语言模型能否有效执行基于推理的视频对象分割？
• RQ2 如何仅通过一个提示标记（token）实现跨视频帧的分割掩码时序一致性？
• RQ3 哪种采样策略能在视频-LLM 架构中最佳平衡计算效率与空间-时间信息的保留？
• RQ4 该视频-LLM 在保持强大推理与跟踪能力的同时，能在多大程度上泛化至图像分割任务？
• RQ5 与逐帧处理或基于追踪增强的基线方法相比，所提出的单标记分割全帧方法在准确率与时序一致性方面表现如何？

主要发现

• VideoLISA 在多个视频对象分割基准测试中达到最先进性能，包括运动引导分割与指代分割任务。
• 稀疏密集采样策略优于帧拼接、ST 池化与慢-快采样等替代方案，证明其在细节与上下文平衡方面的有效性。
• 单标记分割全帧方法显著提升了时序一致性，优于仅使用单个 <SEG> 标记的基线方法，也优于在 LISA 基础上增加外部追踪器的改进方法。
• 消融实验证实，<TRK> 标记在多帧上的联合训练对防止捷径学习、实现跨帧对象关联至关重要。
• VideoLISA 在图像分割任务中也表现出良好的泛化能力，在图像推理与指代分割基准测试中表现强劲。
• 在新提出的 ReasonVOS 基准测试中，该模型展现出卓越的推理与跟踪能力，能够有效处理复杂的多帧推理任务。