[论文解读] Visual Prompting in Multimodal Large Language Models: A Survey

Junda Wu, Zhehao Zhang+13 more|arXiv (Cornell University)|Sep 5, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

本综述首次对多模态大语言模型（MLLMs）中的视觉提示进行了全面分析，对视觉提示类型、生成方法及对齐技术进行了分类，以提升细粒度视觉定位、组合推理和幻觉缓解能力。研究指出，视觉提示是通过像素级、异构提示与系统性训练策略，提升MLLM感知能力与可控性的关键范式。

ABSTRACT

Multimodal large language models (MLLMs) equip pre-trained large-language models (LLMs) with visual capabilities. While textual prompting in LLMs has been widely studied, visual prompting has emerged for more fine-grained and free-form visual instructions. This paper presents the first comprehensive survey on visual prompting methods in MLLMs, focusing on visual prompting, prompt generation, compositional reasoning, and prompt learning. We categorize existing visual prompts and discuss generative methods for automatic prompt annotations on the images. We also examine visual prompting methods that enable better alignment between visual encoders and backbone LLMs, concerning MLLM's visual grounding, object referring, and compositional reasoning abilities. In addition, we provide a summary of model training and in-context learning methods to improve MLLM's perception and understanding of visual prompts. This paper examines visual prompting methods developed in MLLMs and provides a vision of the future of these methods.

研究动机与目标

• 为解决文本提示在MLLMs中导致的视觉定位不准确与幻觉问题。
• 提供视觉提示技术的系统性分类，包括边界框、标记点、像素级提示与软提示。
• 研究自动视觉提示生成方法及其在MLLM推理中的集成，以提升感知与推理能力。
• 分析通过预训练、微调与上下文学习实现的对齐技术，以减少视觉提示的误读并增强组合推理能力。
• 探讨视觉提示在缓解偏见与实现扩散与修复模型中可控视觉生成中的作用。

提出的方法

• 根据空间粒度与模态，将视觉提示分为四类主要类型：边界框、标记点、像素级提示与软提示。
• 综述自动视觉提示标注的生成方法，包括基于检测、基于分割与基于扩散的提示生成方法。
• 分析视觉提示如何通过跨模态注意力机制集成到MLLM中，以提升视觉定位、目标指代与组合推理能力。
• 研究指令微调、对比学习与上下文学习等模型训练策略，以对齐视觉编码器与LLM主干网络，减少提示误读。
• 评估通过互信息解码与联合视觉-文本提示策略，视觉提示在减少幻觉方面的效果。
• 探究视觉提示在视觉生成任务中的应用，包括文本到图像扩散模型、图像编辑与3D生成，利用ControlNet与T2I-Adapter等控制机制。

实验结果

研究问题

• RQ1 与仅使用文本提示相比，视觉提示如何提升MLLM中视觉定位与目标指代的准确性？
• RQ2 视觉提示的关键类别与形态有哪些？它们在空间与功能粒度上如何区别？
• RQ3 如何利用检测、分割或扩散模型自动为多样化图像生成视觉提示？
• RQ4 哪些训练与上下文学习策略能有效对齐MLLM与视觉提示，以减少幻觉与语言偏见？
• RQ5 视觉提示在多模态生成任务中如何增强组合推理能力与可控性？

主要发现

• 视觉提示通过支持像素级、细粒度的指令，使其与视觉输入更一致，显著提升视觉定位能力并减少幻觉。
• 在MLLM中联合使用视觉与文本提示可减少对象幻觉，尤其在多对象感知任务中效果显著。
• 互信息解码策略可增强视觉提示对生成结果的影响，提升定位准确性并减少幻觉。
• 通过检测模型生成提示可提升视觉提示的相关性与精确度，尤其在从文本提示中提取关键概念时效果更佳。
• 视觉提示通过将模型输出基于视觉特征，缓解语言偏见，减少对虚假相关性的依赖。
• 在视觉生成任务中，通过ControlNet与T2I-Adapter实现的视觉提示可实现空间控制，并在微调后六项视觉任务中提升性能。