[论文解读] RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension

Qiang Zhou, Chaohui Yu+4 more|arXiv (Cornell University)|Aug 3, 2023

Natural Language Processing Techniques被引用 4

一句话总结

RegionBLIP 提出了一种统一的多模态预训练框架，使多模态大语言模型（MLLMs）能够理解图像和点云中的整体图像与区域对象。通过使用位置辅助特征提取（PaFE）模块生成与文本对齐的区域特征，并在冻结 BLIP-2 中 Q-Former 的同时仅微调特定模态的 LoRA 参数，RegionBLIP 在无需在大规模图文数据上重新训练的情况下，在图像区域、点云以及点云区域字幕生成基准上实现了最先进性能。

ABSTRACT

In this work, we investigate extending the comprehension of Multi-modal Large Language Models (MLLMs) to regional objects. To this end, we propose to extract features corresponding to regional objects as soft prompts for LLM, which provides a straightforward and scalable approach and eliminates the need for LLM fine-tuning. To effectively extract regional features from regular image features and irregular point cloud features, we present a novel and unified position-assisted feature extraction module. Furthermore, training an MLLM from scratch is highly time-consuming. Thus, we propose incrementally extending existing pre-trained MLLMs to comprehend more modalities and the regional objects of those modalities. Specifically, we freeze the Q-Former from BLIP-2, an impressive MLLM, and optimize the modality-specific Lora parameters in Q-Former and LLM for each newly introduced modality. The freezing of the Q-Former eliminates the need for extensive pre-training on massive image-text data. The freezed Q-Former pre-trained from massive image-text data is also beneficial for the pre-training on image-region-text data. We name our framework RegionBLIP. We pre-train RegionBLIP on image-region-text, point-cloud-text, and point-cloud-region-text data. Experimental results verify that \Ours{} can preserve the image comprehension capability of BILP-2 and further gain a comprehension of the newly introduced point cloud modality and regional objects. The Data, Code, and Pre-trained models will be available at https://github.com/mightyzau/RegionBLIP.

研究动机与目标

• 将多模态大语言模型（MLLMs）的能力扩展至理解图像和点云中的区域对象，而不仅限于整体图像理解。
• 通过提出一种增量微调方法，解决从零开始预训练 MLLMs 所带来的高计算成本问题。
• 克服现有区域理解方法依赖基于语言的位置描述的局限性，这些描述难以生成且需要对 LLM 进行微调。
• 开发一种可扩展的统一方法，用于从常规图像特征和不规则点云特征中提取区域特征。
• 发布一个大规模开源数据集 RegionCap-10M，以支持开放世界场景下区域理解的训练与评估。

提出的方法

• 提出一种位置辅助特征提取（PaFE）模块，利用空间位置编码从常规图像特征和不规则点云特征中提取区域特征。
• 使用 PaFE 模块生成与文本对齐的区域特征，并将其作为软视觉提示输入 LLM，实现无需基于语言的位置描述的直接区域理解。
• 采用增量预训练方案，冻结 BLIP-2 中的 Q-Former，仅对 Q-Former 和 LLM 中与模态相关的 LoRA 参数进行微调，以支持新模态（如点云和区域对象）。
• 利用现有的预训练 BLIP-2 权重，在最小化额外训练的前提下，保留图像理解能力并扩展至新模态。
• 通过从现有图像数据集（如 CC3M、C12M 和 COYO-700M）中挖掘边界框与字幕配对，构建了一个大规模、网络规模的框-文本配对数据集 RegionCap-10M。
• 使用对比损失和语言建模损失，在图像-区域-文本、点云-文本以及点云-区域-文本数据上训练 RegionBLIP，以对齐区域特征与文本描述。

实验结果

研究问题

• RQ1 统一框架能否有效使多模态大语言模型在图像和点云等多样化模态中同时理解整体图像与区域对象？
• RQ2 如何高效且一致地从常规图像特征和不规则点云特征中提取区域特征，以供 LLM 使用？
• RQ3 冻结 BLIP-2 中的 Q-Former 并仅微调特定模态的 LoRA 参数，是否能在保留图像理解能力的同时，实现对新模态的高效扩展？
• RQ4 与无位置辅助的基线方法相比，所提出的 PaFE 模块在多大程度上提升了区域理解性能？
• RQ5 像 RegionCap-10M 这样大规模开源数据集，能否显著提升 MLLMs 在开放世界场景下的区域理解能力？

主要发现

• RegionBLIP 保持了 BLIP-2 的图像理解性能，在 COCO 字幕生成基准上达到 113.6 的 CIDEr 分数，在 RefCOCO 上达到 64.2，证明了知识迁移的有效性。
• PaFE 模块显著提升了区域理解性能：使用 PaFE 时，RegionBLIP 在 RefCOCO 上的 CIDEr 分数达到 63.5（无 PaFE 时为 44.7），在 Objaverse 上达到 112.7（无 PaFE 时为 84.7）。
• RegionBLIP 在 ReferScannet 验证集上的点云-区域字幕生成任务中达到 59.3 的 CIDEr 分数，显示出对 3D 点云数据的强大泛化能力。
• 采用冻结 Q-Former 并仅微调特定模态 LoRA 参数的增量训练方案，实现了无需在大规模图文数据上重新训练即可高效扩展至新模态。
• 发布了包含 570 万张图像和 1080 万个区域标注的大规模开源数据集 RegionCap-10M，以支持未来在区域理解方面的研究。
• 消融实验表明，PaFE 对区分点云字幕与点云-区域字幕至关重要，其缺失导致 Objaverse CIDEr 分数下降 25 分。