[论文解读] Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants

Tianyu Yu, Jinyi Hu+11 more|arXiv (Cornell University)|Oct 1, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 Muffin，一种新颖的框架，利用预训练视觉语言模型作为‘开箱即用’的桥梁，连接视觉编码器与大语言模型，无需额外的特征对齐训练。同时，本文还推出了 UniMM-Chat，一个包含 1.1M 个样本的多模态指令数据集，通过整合来自不同数据集的互补标注构建而成，使模型在视觉语言任务中达到最先进性能，优于 LLaVA 和 InstructBLIP 等模型。

ABSTRACT

Recent Multimodal Large Language Models (MLLMs) exhibit impressive abilities to perceive images and follow open-ended instructions. The capabilities of MLLMs depend on two crucial factors: the model architecture to facilitate the feature alignment of visual modules and large language models; the multimodal instruction tuning datasets for human instruction following. (i) For the model architecture, most existing models introduce an external bridge module to connect vision encoders with language models, which needs an additional feature-alignment pre-training. In this work, we discover that compact pre-trained vision language models can inherently serve as ``out-of-the-box'' bridges between vision and language. Based on this, we propose Muffin framework, which directly employs pre-trained vision-language models to act as providers of visual signals. (ii) For the multimodal instruction tuning datasets, existing methods omit the complementary relationship between different datasets and simply mix datasets from different tasks. Instead, we propose UniMM-Chat dataset which explores the complementarities of datasets to generate 1.1M high-quality and diverse multimodal instructions. We merge information describing the same image from diverse datasets and transforms it into more knowledge-intensive conversation data. Experimental results demonstrate the effectiveness of the Muffin framework and UniMM-Chat dataset. Muffin achieves state-of-the-art performance on a wide range of vision-language tasks, significantly surpassing state-of-the-art models like LLaVA and InstructBLIP. Our model and dataset are all accessible at https://github.com/thunlp/muffin.

研究动机与目标

• 解决现有多模态大语言模型（MLLM）架构效率低下且复杂的问题，这些架构通常需要额外的对齐模块或重采样器。
• 克服当前多模态指令微调数据集的局限性，这些数据集往往缺乏深度、多样性以及互补信息。
• 开发一个统一、高质量且知识密集的多模态指令数据集，以增强大语言模型的推理能力和事实基础性。
• 证明直接将预训练视觉语言模型与大语言模型集成，可在无需额外对齐训练的情况下实现更优性能。
• 通过融合多个来源对同一图像的标注，建立一种构建多模态数据集的新范式。

提出的方法

• Muffin 直接使用紧凑的预训练视觉语言模型（如 ALBEF、CoCa、BEiT-3）作为视觉信号提供者，绕过对外部桥梁模块或重采样器的需求。
• 在视觉语言模型的嵌入空间中引入可学习查询向量，以提取并注入视觉表征到大语言模型中，实现端到端训练。
• UniMM-Chat 数据集通过合并来自多个视觉语言数据集（如 COCO）的同一图像的标注构建而成，生成更丰富、更具知识密度的对话数据。
• 采用基于 GPT-4 的灵活提示策略，将合并后的标注转化为多样化、高质量、多轮对话，包含详细回复。
• 该框架支持在预训练和指令微调阶段使用高分辨率图像，以保留细粒度视觉细节。
• 引入一个新的基准测试 UniMM-Bench，用于评估多模态推理与世界知识，使用 GPT-4 对模型在复杂开放式问题上的输出进行评分。

实验结果

研究问题

• RQ1 预训练视觉语言模型能否在无需额外对齐模块的情况下，作为视觉编码器与大语言模型之间的有效、开箱即用的桥梁？
• RQ2 将来自多个数据集的互补标注进行合并，如何提升多模态指令微调数据的质量与知识密度？
• RQ3 在像 UniMM-Chat 这类知识密集、多源标注的数据集上进行训练，能在多大程度上提升 MLLM 的推理能力与事实准确性？
• RQ4 像 Muffin 这样更简单、统一的训练框架，能否超越依赖外部重采样器或投影器的复杂架构？
• RQ5 图像分辨率与微调策略对多模态模型在复杂推理任务中的性能有何影响？

主要发现

• Muffin 在多个视觉语言基准测试中均达到最先进性能，在视觉问答、视觉对话和细节描述任务中优于 LLaVA 和 InstructBLIP。
• 在 UniMM-Bench 基准测试中，Muffin 取得 73.4% 的得分，显著优于在原始数据集或较不全面变体上微调的模型。
• 在 UniMM-Chat 上训练的模型在 LLaVA 测试集上达到 85.7% 的准确率，展现出强大的泛化能力与对域外样本的鲁棒性。
• 消融实验证明，使用合并后的标注（UniMM-Chat）比使用孤立或非互补数据（如 UniMM-Chat-sep）带来更优性能，证实了数据融合的价值。
• 在预训练或微调阶段降低图像分辨率会导致性能显著下降，凸显了高分辨率视觉输入在复杂任务中的重要性。
• 在指令微调期间冻结大语言模型会导致 UniMM-Bench 上性能下降 10 个百分点，表明微调大语言模型对于实现最优知识整合至关重要。