[论文解读] VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense Scene Understanding

Xin Yi, Junlong Du+3 more|arXiv (Cornell University)|Dec 14, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 VMT-Adapter，一种用于多任务密集场景理解的参数高效微调方法，通过在任务间共享投影并使用轻量级任务特定知识提取模块，实现无论任务数量多少，训练和推理成本均接近 $O(1)$。该方法在仅使用预训练模型约 1% 可训练参数的情况下，相比单任务全微调实现了 3.96% 的相对性能提升，而 VMT-Adapter-Lite 进一步将参数量减少至 0.36%。

ABSTRACT

Large-scale pre-trained models have achieved remarkable success in various computer vision tasks. A standard approach to leverage these models is to fine-tune all model parameters for downstream tasks, which poses challenges in terms of computational and storage costs. Recently, inspired by Natural Language Processing (NLP), parameter-efficient transfer learning has been successfully applied to vision tasks. However, most existing techniques primarily focus on single-task adaptation, and despite limited research on multi-task adaptation, these methods often exhibit suboptimal training and inference efficiency. In this paper, we first propose an once-for-all Vision Multi-Task Adapter (VMT-Adapter), which strikes approximately O(1) training and inference efficiency w.r.t task number. Concretely, VMT-Adapter shares the knowledge from multiple tasks to enhance cross-task interaction while preserves task-specific knowledge via independent knowledge extraction modules. Notably, since task-specific modules require few parameters, VMT-Adapter can handle an arbitrary number of tasks with a negligible increase of trainable parameters. We also propose VMT-Adapter-Lite, which further reduces the trainable parameters by learning shared parameters between down- and up-projections. Extensive experiments on four dense scene understanding tasks demonstrate the superiority of VMT-Adapter(-Lite), achieving a 3.96%(1.34%) relative improvement compared to single-task full fine-tuning, while utilizing merely ~1% (0.36%) trainable parameters of the pre-trained model.

研究动机与目标

• 为解决在多个密集预测任务上对大规模预训练视觉模型进行全微调所带来的高计算和存储成本问题。
• 克服现有参数高效方法在训练和推理时随任务数量线性增长的低效问题。
• 在统一且可扩展的框架中实现有效的跨任务知识迁移，同时保持任务特定表征能力。
• 在不牺牲性能的前提下显著减少可训练参数量，尤其是在多任务设置中。
• 开发一种可灵活适配不同主干架构和解码器结构的方法。

提出的方法

• VMT-Adapter 引入与任务数量无关的共享投影，实现相对于任务数量的 $O(1)$ 训练和推理成本扩展。
• 采用参数极少的任务特定知识提取模块，以保留各任务的独立表征。
• 该方法可集成到任意 Transformer 中间层，统一学习任务通用与任务特定特征。
• VMT-Adapter-Lite 通过在适配器模块中共享下投影和上投影矩阵的可学习权重，进一步减少参数量。
• 适配器被应用于 Transformer 编码器和解码器的多个层级，实现多尺度特征适配。
• 该框架在四个密集场景理解任务上进行了评估：语义分割、表面法线估计、显著性检测和深度估计。

实验结果

研究问题

• RQ1 能否设计一种参数高效的微调方法，在保持低训练和推理成本的同时，实现多个密集场景理解任务的高性能？
• RQ2 如何有效共享跨任务知识，而不损害任务特定表征的学习？
• RQ3 是否可将可训练参数量减少至全模型的 1% 以下，同时仍优于全微调？
• RQ4 在适配器中对下投影和上投影之间进行参数共享，是否能显著减小模型尺寸且仅带来可忽略的性能下降？
• RQ5 该方法在不同主干架构和解码器设计上的泛化能力如何？

主要发现

• VMT-Adapter 在四个密集场景理解任务上相比单任务全微调实现了 3.96% 的相对性能提升，仅使用 113 万可训练参数（约占全模型的 1%）。
• VMT-Adapter-Lite 将可训练参数减少至 40 万（全模型的 0.36%），同时仍实现相比全微调 1.34% 的相对性能提升。
• 该方法优于强基线模型，如 Polyhistor（提升 +2.34%）和 Hyperformer（提升 +2.64%），尽管参数量显著更少。
• VMT-Adapter 在不同主干网络上泛化良好：在 SwinTransformer-Base 上实现平均 +7.10% 的性能提升，优于全微调。
• 该方法在不同解码器结构上也保持强性能，包括 HRNet-V2 的高分辨率解码器，实现 +2.41% 的相对性能提升。
• 消融实验表明，随着下投影比率（ρ）增大，性能持续提升，直至 ρ=8；在 VMT-Adapter-Lite 中设置 m=3 可在参数量与准确率之间取得最佳平衡。