[论文解读] VPGTrans: Transfer Visual Prompt Generator across LLMs

Ao Zhang, Hao Fei+5 more|arXiv (Cornell University)|May 2, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出 VPGTrans，一种两阶段迁移框架，可在不同规模和类型的大型语言模型（LLM）之间高效迁移视觉提示生成器（VPG），显著降低训练成本。通过使用高学习率的投影器预热，随后进行微调，VPGTrans 实现了最高 10 倍的收敛速度提升，并将 GPU 小时数减少 90%以上，即使在多个基准测试中也优于原始模型。

ABSTRACT

While developing a new multimodal LLM (MLLM) by pre-training on tremendous image-text pairs from scratch can be exceedingly resource-consuming, connecting an existing LLM with a comparatively lightweight visual prompt generator (VPG) becomes a feasible paradigm. However, further tuning the VPG part of the MLLM still suffers from indispensable computational costs, i.e., requiring thousands of GPU hours and millions of training data. One alternative solution is to transfer an existing VPG from any existing MLLMs for the target MLLM. In this work, we for the first time investigate the VPG transferability across LLMs, and explore a solution to reduce the cost of VPG transfer. We first study the VPG transfer across different LLM sizes (e.g., small-to-large), and across different LLM types, through which we diagnose the key factors to maximize the transfer efficiency. Based on our observation, we design a two-stage transfer framework named VPGTrans, which is simple yet highly effective. Through extensive experiments, we demonstrate that VPGTrans helps significantly speed up the transfer learning process without compromising performance. Remarkably, it helps achieve the VPG transfer from BLIP-2 OPT$_ ext{2.7B}$ to BLIP-2 OPT$_ ext{6.7B}$ with over 10 times speed-up and 10.7% training data compared with connecting a VPG to OPT$_ ext{6.7B}$ from scratch. Further, a series of intriguing findings and potential rationales behind them are provided and discussed. Finally, we showcase the practical value of our VPGTrans approach, by customizing two novel MLLMs, including VL-LLaMA and VL-Vicuna, with recently released LLaMA and Vicuna LLMs.

研究动机与目标

• 探究在不同规模和架构的 LLM 之间迁移视觉提示生成器（VPG）的可行性与效率。
• 识别在从小模型向大模型或不同 LLM 类型之间迁移 VPG 时，最大化迁移效率的关键因素。
• 降低为新多模态 LLM（MLLM）微调 VPG 所需的计算与数据开销，避免从头开始昂贵的预训练。
• 通过从现有模型（如 VL-LLaMA 和 VL-Vicuna）迁移 VPG 来定制新 MLLM，展示方法的实际应用价值。
• 提供一种可扩展、低成本的解决方案，利用预训练的 VPG 在任意 LLM 主干网络上部署高性能 MLLM。

提出的方法

• 提出一种两阶段 VPG 迁移框架：(1) 使用极高的学习率（5 倍基线）进行投影器预热，以稳定初始适应过程；(2) 对 VPG 和投影器进行标准微调。
• 使用源 MLLM（如 BLIP-2 OPT 2.7B）的预训练 VPG，并通过冻结目标 LLM 仅微调 VPG 和投影器，将其适配到目标 LLM（如 OPT 6.7B 或 FlanT5）。
• 采用线性投影器实现 VPG 输出与目标 LLM 输入嵌入空间之间的维度匹配，该投影器在预热阶段重新初始化并进行微调。
• 在所有迁移设置中使用相同的训练数据和超参数，以确保公平比较，并隔离 VPGTrans 框架的影响。
• 在多种迁移场景中验证该方法：小模型到大模型（TaS）和不同 LLM 类型（TaT）之间的迁移，包括解码器架构与编码器-解码器架构。
• 采用标准多模态基准测试（如 COCO、VQAv2、GQA、VizWiz）评估迁移过程中的性能与收敛速度。

实验结果

研究问题

• RQ1 能否将预训练的视觉提示生成器（VPG）有效迁移至不同规模的 LLM 上？若可行，哪些因素能最大化迁移效率？
• RQ2 在不同 LLM 类型之间（如仅解码器 vs. 编码器-解码器）进行 VPG 迁移，其性能是否可与从头训练相媲美？是否可实现加速？
• RQ3 为何 VPG 迁移仅在大模型上表现出加速效果，而在小模型上无此现象？其背后的机制是什么？
• RQ4 VPGTrans 框架是否能实现使用任意 LLM 主干（如 LLaMA 或 Vicuna）构建高性能新 MLLM，且训练成本极低？
• RQ5 投影器初始化与学习率调度在稳定和加速 VPG 迁移过程（尤其是早期训练阶段）中起到何种作用？

主要发现

• 当将 VPG 从 BLIP-2 OPT 2.7B 迁移到 OPT 6.7B 时，VPGTrans 将 GPU 小时数减少 90% 以上，训练数据减少 10.7%，且性能与从头训练相当或更优。
• 在小模型到大模型的迁移（TaS）中，由于使用 5 倍学习率的投影器预热，VPGTrans 实现了最高 10 倍的收敛速度提升，且无性能下降。
• 在跨 LLM 类型迁移（TaT）中，VPGTrans 在大模型上（如 FlanT5 XL → OPT 2.7B）实现了至少 2 倍的加速，同时性能优于或等同于基线方法。
• 该方法在多数基准测试中优于原始的 BLIP-2 OPT 6.7B 模型，在评估数据集上平均性能提升 2.9%。
• 仅在大模型上观察到迁移加速现象，表明大模型学习到的文本嵌入更具线性化与泛化能力，从而更易于实现 VPG 迁移。
• 基于 VPGTrans 构建的 VL-LLaMA 和 VL-Vicuna 在多模态推理与对话任务中达到 SOTA 性能，其中 VL-Vicuna 在 Multimodality Chatbot Arena 上排名第三（Elo: 1012.1）。