[论文解读] Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models

Qiong Wu, Wei Yu+4 more|arXiv (Cornell University)|Sep 4, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出动态架构跳过（DAS），一种用于视觉语言预训练（VLP）模型的参数与计算高效迁移学习（PCETL）方法。DAS利用强化学习在推理过程中识别并跳过VLP模型中的冗余Transformer模块，同时插入轻量级适配器以实现特征适配，从而在不损失性能的前提下，使VQA2.0上的推理速度最快提升19.23%，FLOPs减少11.97%。

ABSTRACT

With ever increasing parameters and computation, vision-language pre-trained (VLP) models exhibit prohibitive expenditure in downstream task adaption. Recent endeavors mainly focus on parameter efficient transfer learning (PETL) for VLP models by only updating a small number of parameters. However, excessive computational overhead still plagues the application of VLPs. In this paper, we aim at parameter and computation efficient transfer learning (PCETL) for VLP models. In particular, PCETL not only needs to limit the number of trainable parameters in VLP models, but also to reduce the computational redundancy during inference, thus enabling a more efficient transfer. To approach this target, we propose a novel dynamic architecture skipping (DAS) approach towards effective PCETL. Instead of directly optimizing the intrinsic architectures of VLP models, DAS first observes the significances of their modules to downstream tasks via a reinforcement learning (RL) based process, and then skips the redundant ones with lightweight networks, i.e., adapters, according to the obtained rewards. In this case, the VLP model can well maintain the scale of trainable parameters while speeding up its inference on downstream tasks. To validate DAS, we apply it to two representative VLP models, namely ViLT and METER, and conduct extensive experiments on a bunch of VL tasks. The experimental results not only show the great advantages of DAS in reducing computational complexity, e.g. -11.97% FLOPs of METER on VQA2.0, but also confirm its competitiveness against existing PETL methods in terms of parameter scale and performance. Our source code is given in our appendix.

研究动机与目标

• 为解决尽管已有参数高效迁移学习（PETL）方法，大型视觉语言预训练（VLP）模型在下游任务微调时仍存在高计算成本的问题。
• 通过识别并跳过预训练VLP模型中的冗余模块，在推理阶段同时降低参数与计算开销。
• 通过基于任务特定模块重要性的动态子网络路由，显著加速推理，同时保持竞争力的性能。
• 实现既参数高效又计算高效的迁移学习，克服现有PETL方法的局限性。

提出的方法

• DAS将模块跳过建模为多臂赌博机问题，利用强化学习（RL）评估每个视觉语言（VL）模块对下游任务的重要性。
• RL智能体根据累积奖励选择跳过哪些Transformer层，从而在推理时动态路由至最优子网络。
• 冗余模块被轻量级适配器与跳跃连接替代，既保留特征适配能力，又减少计算量。
• 该方法保持与PETL方法相当的固定可训练参数数量，确保参数效率。
• DAS在预训练后运行，无需重新训练或架构重构，可直接应用于已充分预训练的VLP模型。
• 搜索过程由基于模块冗余估计的奖励函数引导，结果通过可视化确认了任务特定的路由模式。

实验结果

研究问题

• RQ1 动态架构跳过机制是否能在推理阶段减少视觉语言预训练模型中的计算冗余？
• RQ2 与现有PETL方法相比，DAS在参数效率与推理速度方面表现如何？
• RQ3 DAS在保持视觉语言任务竞争力准确率的前提下，能在多大程度上减少FLOPs并加速推理？
• RQ4 模块跳过的任务特定模式是什么？它们如何反映不同VL任务的语义需求？

主要发现

• 在VQA2.0任务的METER上，DAS将FLOPs减少了11.97%，显著降低了计算开销。
• 与完整微调相比，DAS将推理速度提升了19.23%，在推理效率上甚至优于标准PETL方法。
• 在三个视觉语言任务上，DAS在降低计算开销的同时保持了竞争力的性能，证明了其在PCETL中的有效性。
• 基于强化学习的模块选择过程成功在训练早期识别出冗余层，冗余估计值在振荡后趋于稳定。
• 发现了任务特定的子网络：VQA倾向于跳过中间层的语言模块，而NLVR则偏好跳过顶层的语言层，反映出任务语义的差异。
• DAS在参数效率与计算效率之间实现了良好的权衡，是唯一一种在推理速度上优于完整模型的PETL方法。