[论文解读] Parameter-efficient Tuning of Large-scale Multimodal Foundation Model

Haixin Wang, Xinlong Yang+6 more|arXiv (Cornell University)|May 15, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出Aurora，一种针对大规模多模态基础模型的参数高效微调框架，通过模式近似将可训练参数减少至仅0.1M（约占完整模型的0.04%），同时引入信息上下文增强与门控查询转换模块，以提升跨模态对齐。Aurora在六个跨模态基准上达到最先进性能，即使仅使用0.05%的可训练参数，也优于全量微调。

ABSTRACT

Driven by the progress of large-scale pre-training, parameter-efficient transfer learning has gained immense popularity across different subfields of Artificial Intelligence. The core is to adapt the model to downstream tasks with only a small set of parameters. Recently, researchers have leveraged such proven techniques in multimodal tasks and achieve promising results. However, two critical issues remain unresolved: how to further reduce the complexity with lightweight design and how to boost alignment between modalities under extremely low parameters. In this paper, we propose A graceful prompt framework for cross-modal transfer (Aurora) to overcome these challenges. Considering the redundancy in existing architectures, we first utilize the mode approximation to generate 0.1M trainable parameters to implement the multimodal prompt tuning, which explores the low intrinsic dimension with only 0.04% parameters of the pre-trained model. Then, for better modality alignment, we propose the Informative Context Enhancement and Gated Query Transformation module under extremely few parameters scenes. A thorough evaluation on six cross-modal benchmarks shows that it not only outperforms the state-of-the-art but even outperforms the full fine-tuning approach. Our code is available at: https://github.com/WillDreamer/Aurora.

研究动机与目标

• 解决大规模多模态基础模型微调带来的高计算与存储成本问题。
• 在保持或提升性能的同时，减少迁移学习中的参数依赖。
• 在极低参数预算下提升跨模态对齐能力。
• 开发一种轻量化但高效的微调框架，适用于小规模下游任务。
• 通过整合更深层次的单模态特征融合，克服现有参数高效方法在多模态设置下的局限性。

提出的方法

• 基于CANDECOMP/PARAFAC（CP）分解的模式近似，仅生成0.1M可训练参数，利用下游任务的低内在维度特性。
• 引入信息上下文增强模块，在特征融合前丰富单模态特征的上下文信息。
• 设计门控查询转换模块，以自适应方式控制文本特征在跨模态融合中的贡献。
• 冻结预训练主干网络，仅微调轻量级适配器组件，最大限度减少参数更新。
• 采用轻量级提示学习框架，避免全量微调的同时保持模型泛化能力。
• 利用注意力机制的固有低秩结构，减少冗余并聚焦于任务相关特征。

实验结果

研究问题

• RQ1 能否通过参数高效微调方法，在可训练参数大幅减少的情况下，实现在多模态任务上的最先进性能？
• RQ2 当可训练参数数量极度受限时，如何提升模态对齐能力？
• RQ3 模式近似在多模态模型中，能在多大程度上有效捕捉下游任务的内在维度？
• RQ4 轻量级适配器是否能在效率与准确率两方面超越全量微调？
• RQ5 所提方法在多样化的跨模态基准上具有多大程度的泛化能力？

主要发现

• Aurora在六个跨模态基准上实现最先进性能，包括图像-文本检索、视频-文本检索与视觉问答。
• 在MSRVTT与VQAv2基准上，Aurora分别以仅约0.05%的可训练参数，超越全量微调1.8%与0.5%。
• 模型仅使用0.1M可训练参数，占预训练模型参数量的0.04%即可实现强劲性能。
• 定性分析表明，Aurora在视频-文本检索与视觉问答任务中泛化能力更强，预测结果更准确且更具上下文相关性，优于UniAdapter。
• 参数分布可视化证实，Aurora以局部化方式适应预训练权重，未出现过拟合，有效保持了泛化能力。
• 门控查询转换模块有效控制了文本信息的流动，在低参数环境下显著提升了模态对齐效果。