[论文解读] OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding

Tao Zhang, Xiangtai Li+6 more|arXiv (Cornell University)|Jun 27, 2024

Cell Image Analysis Techniques被引用 5

一句话总结

OMG-LLaVA 将图像级、对象级和像素级推理在一个模型中统一，使用一个大语言模型、一个视觉编码器和一个视觉解码器，从而实现多模态任务的多功能性。

ABSTRACT

Current universal segmentation methods demonstrate strong capabilities in pixel-level image and video understanding. However, they lack reasoning abilities and cannot be controlled via text instructions. In contrast, large vision-language multimodal models exhibit powerful vision-based conversation and reasoning capabilities but lack pixel-level understanding and have difficulty accepting visual prompts for flexible user interaction. This paper proposes OMG-LLaVA, a new and elegant framework combining powerful pixel-level vision understanding with reasoning abilities. It can accept various visual and text prompts for flexible user interaction. Specifically, we use a universal segmentation method as the visual encoder, integrating image information, perception priors, and visual prompts into visual tokens provided to the LLM. The LLM is responsible for understanding the user's text instructions and providing text responses and pixel-level segmentation results based on the visual information. We propose perception prior embedding to better integrate perception priors with image features. OMG-LLaVA achieves image-level, object-level, and pixel-level reasoning and understanding in a single model, matching or surpassing the performance of specialized methods on multiple benchmarks. Rather than using LLM to connect each specialist, our work aims at end-to-end training on one encoder, one decoder, and one LLM. The code and model have been released for further research.

研究动机与目标

• 推动一个单模型解决方案以连接图像级、对象级和像素级理解与推理。
• 利用通用感知模块为冻结的LLM提供丰富的视觉标记。
• 在没有多个任务特定适配器或解码器的情况下实现端到端的任务统一。
• 在保留像素级分割能力的同时实现图像级和区域级推理。
• 在分割、对位与基于地面的对话基准上展示出强劲的性能。

提出的方法

• 使用 OMG-Seg 作为冻结的通用感知编码器，产生以像素为中心和以对象为中心的视觉标记。
• 引入感知先验嵌入模块，将对象查询与图像特征融合为可供 LLM 使用的标记表示。
• 将图像、区域和文本提示编码为统一的标记格式，以便 LLM 生成文本和分割标记。
• 将来自 LLM 的 [SEG] 标记输出通过 OMG 解码器解码为分割掩模。
• 分两阶段训练：先用冻结的感知模块和可训练投影进行预训练；使用 LoRA 针对 LLM 进行指令微调，并在分割损失上进行监督。
• 采用统一的指令格式，使用 <Image>、<Region> 和 [SEG] 标记以支持多样化的任务。

实验结果

研究问题

• RQ1 是否能够在单一 MLLM 架构中使用一个编码器、一个解码器和一个 LLM 解决图像级、对象级和像素级任务？
• RQ2 感知先验嵌入是否能够有效将对象中心信息整合到像素特征中，以供 LLM 推理？
• RQ3 与专用或多模块系统相比，统一方法在图像描述、视觉问答、指代分割和基于地面的对话任务上的表现如何？
• RQ4 视觉提示（点、框、掩模）对对象级理解和提示驱动分割有何影响？
• RQ5 为支持广泛的多模态能力而无需任务特定适配器需要哪些数据和训练策略？

主要发现

• OMG-LLaVA 在单一模型中实现了图像级、对象级和像素级的理解与推理。
• 感知先验嵌入显著提升分割到文本的对齐，提升了 RES 和 GCG 任务的表现。
• 向 LLM 提供对象查询输入可在指代分割和基于地面的任务上获得额外的性能提升。
• 与最先进的多模态大模型相比，OMG-LLaVA 在指代分割和基于地面的对话上达到有竞争力或优越的结果，同时保持通用的分割能力。
• 该模型使用单一视觉编码器和解码器，相较于多编码器/解码器的方法，降低了复杂性和计算量。