[论文解读] Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs

Shiyu Xuan, Qingpei Guo+2 more|arXiv (Cornell University)|Oct 1, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出Pink框架，通过自洽的自举法从现有标注中构建高质量、低成本的指令微调数据，从而提升多模态大模型在细粒度图像理解方面的能力。通过将密集目标标注扩展为指代表达-边界框对，并使用适配器/LoRA微调视觉编码器，Pink在GQA（+5.2%）、RefCOCO_val（相比Kosmos-2提升24.7%）以及MMBench排行榜上均达到最先进性能，且仅使用公开可用数据。

ABSTRACT

Multi-modal Large Language Models (MLLMs) have shown remarkable capabilities in various multi-modal tasks. Nevertheless, their performance in fine-grained image understanding tasks is still limited. To address this issue, this paper proposes a new framework to enhance the fine-grained image understanding abilities of MLLMs. Specifically, we present a new method for constructing the instruction tuning dataset at a low cost by leveraging annotations in existing datasets. A self-consistent bootstrapping method is also introduced to extend existing dense object annotations into high-quality referring-expression-bounding-box pairs. These methods enable the generation of high-quality instruction data which includes a wide range of fundamental abilities essential for fine-grained image perception. Moreover, we argue that the visual encoder should be tuned during instruction tuning to mitigate the gap between full image perception and fine-grained image perception. Experimental results demonstrate the superior performance of our method. For instance, our model exhibits a 5.2% accuracy improvement over Qwen-VL on GQA and surpasses the accuracy of Kosmos-2 by 24.7% on RefCOCO_val. We have also attained the top rank on the leaderboard of MMBench. This promising performance is achieved by training on only publicly available data, making it easily reproducible. The models, datasets, and codes are publicly available at https://github.com/SY-Xuan/Pink.

研究动机与目标

• 提升多模态大模型在细粒度图像理解方面的能力，尽管其在粗粒度视觉任务上表现强劲，但细粒度理解仍受限。
• 解决多模态学习中指代理解（RC）任务缺乏多样化、高质量指令数据的问题。
• 通过在指令微调过程中增强视觉编码器的适应性，缩小全图感知与细粒度感知之间的性能差距。
• 开发一种低成本、可复现的方法，利用现有标注而非昂贵的大语言模型生成，构建高质量的RC指令数据。
• 在不依赖专有或大规模数据的前提下，实现在标准基准上的最先进性能。

提出的方法

• 利用Visual Genome等数据集中的现有标注，构建涵盖视觉关系与空间推理等任务的多样化指代理解任务。
• 提出一种自洽的自举方法，自动从密集目标标注中生成高质量的指代表达-边界框对，避免依赖昂贵的大语言模型标注。
• 设计覆盖多种RC任务（如定位、多选VQA）的指令模板，并将其整合进统一的指令微调数据集中。
• 采用参数高效方法（如LoRA、适配器）微调视觉编码器，弥合全局与细粒度视觉感知之间的差距。
• 采用两阶段训练流程：先在公开数据上进行预训练，再使用新构建的以RC为中心的数据集进行指令微调。
• 采用一致且可扩展的数据流水线，确保为细粒度感知提供高质量、多样化且泛化能力强的指令样本。

Figure 1 : With fewer trainable parameters and less training data, Pink achieves the best performance on both conventional multi-modal tasks and RC tasks. “#Trainable Param.”, “#PT Data”, and “#IT Data” indicate the number of trainable parameters, the number of samples in pre-training and instructio

实验结果

研究问题

• RQ1 我们能否仅使用公开可用的现有标注，显著提升多模态大模型在细粒度图像理解方面的能力？
• RQ2 自洽的自举方法能否在不依赖大语言模型数据生成的前提下，生成高质量的指代表达-边界框对？
• RQ3 在指令微调过程中微调视觉编码器是否能带来细粒度感知任务的可测量性能提升？
• RQ4 一种低成本、数据高效的指令微调策略能否在GQA和MMBench等标准基准上实现最先进性能？
• RQ5 将基础能力（如实例识别、空间推理）整合进指令微调，如何影响模型在RC任务上的泛化能力？

主要发现

• Pink在GQA基准上相比Qwen-VL提升5.2%准确率，证明其在细粒度推理方面表现更优。
• 在RefCOCO_val上，模型相比Kosmos-2提升24.7%，凸显其在定位与指代理解方面的强大能力。
• Pink在MMBench排行榜上位列第一，证实其在广泛多模态理解任务中的稳健性。
• 仅使用670万可训练参数，Pink在OK-VQA上的准确率相比Shikra最高提升6.0%，表明其高效且有效。
• 该方法仅使用公开数据即实现SOTA结果，具备完全可复现性，对研究社区开放。
• 自洽的自举方法成功从现有标注中生成高质量RC数据，显著降低对昂贵大语言模型数据生成的依赖。

Figure 2 : The illustration of our Pink model. Pink follows the architecture of LLaVA [ 22 ] , which consists of three main components: a visual encoder, a projection layer, and a decoder-only LLM. The coordinates of a bounding box are converted into texts in a specific format. During instruction tu