[论文解读] Task Residual for Tuning Vision-Language Models

Changyuan Yu, Zhihe Lu+3 more|arXiv (Cornell University)|Nov 18, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出任务残差微调（Task Residual Tuning, TaskRes），通过向冻结的预训练文本分类器添加与任务相关的、与先验无关的参数（即‘任务残差’），实现视觉-语言模型（VLMs）的高效微调。TaskRes 在 11 个基准数据集上显著优于现有方法（如提示微调和适配器风格微调），以极低的实现成本实现了最先进性能——仅需一行代码修改。

ABSTRACT

Large-scale vision-language models (VLMs) pre-trained on billion-level data have learned general visual representations and broad visual concepts. In principle, the well-learned knowledge structure of the VLMs should be inherited appropriately when being transferred to downstream tasks with limited data. However, most existing efficient transfer learning (ETL) approaches for VLMs either damage or are excessively biased towards the prior knowledge, e.g., prompt tuning (PT) discards the pre-trained text-based classifier and builds a new one while adapter-style tuning (AT) fully relies on the pre-trained features. To address this, we propose a new efficient tuning approach for VLMs named Task Residual Tuning (TaskRes), which performs directly on the text-based classifier and explicitly decouples the prior knowledge of the pre-trained models and new knowledge regarding a target task. Specifically, TaskRes keeps the original classifier weights from the VLMs frozen and obtains a new classifier for the target task by tuning a set of prior-independent parameters as a residual to the original one, which enables reliable prior knowledge preservation and flexible task-specific knowledge exploration. The proposed TaskRes is simple yet effective, which significantly outperforms previous ETL methods (e.g., PT and AT) on 11 benchmark datasets while requiring minimal effort for the implementation. Our code is available at https://github.com/geekyutao/TaskRes.

研究动机与目标

• 为解决现有视觉-语言模型高效迁移学习（ETL）方法的局限性，这些方法或损害先验知识，或过度依赖先验知识。
• 在微调过程中显式解耦先验知识与任务特定知识，以保留强大的预训练表征，同时实现灵活适应。
• 开发一种简单、参数高效的微调方法，即使在下游数据有限的情况下也能保持高性能。
• 探究不同下游任务中学习到的任务残差幅度与迁移难度之间的关系。

提出的方法

• TaskRes 保持预训练文本分类器权重冻结，并引入一组可学习的、与先验无关的参数作为原始分类器的残差。
• 通过加法更新将残差直接添加到分类器权重上：W_new = W_base + α × W_residual，其中 α 为缩放因子。
• 该方法仅作用于分类器头，避免重新计算文本嵌入或修改网络架构。
• 任务残差与模型其余部分端到端联合训练，而基础分类器保持固定。
• 该方法参数高效，仅需一行代码修改即可实现。
• 该方法兼容多种视觉编码器（如 ResNet、ViT），适用于多种少样本设置。

实验结果

研究问题

• RQ1 TaskRes 在适应下游任务时，与提示微调和适配器风格微调相比，在保留先验知识方面表现如何？
• RQ2 学习到的任务残差幅度与将预训练 VLM 迁移到新任务的难度之间存在何种关系？
• RQ3 一种简单、加法式的残差机制是否能在不修改架构的前提下显著提升少样本迁移性能？
• RQ4 任务残差是否能自动适应下游任务的复杂性，如性能增益所示？
• RQ5 不同视觉主干网络（如 ResNet、ViT）对 TaskRes 的有效性有何影响？

主要发现

• TaskRes 在 11 个多样化基准数据集上实现了最先进性能，涵盖 1-shot 至 16-shot 设置，优于零样本 CLIP、CoOp、CLIP-Adapter 和 Tip-Adapter-F。
• 在 ImageNet 上 1-shot 学习中，TaskRes 达到 64.75% 的准确率，超过零样本 CLIP（58.18%）和 CLIP-Adapter（63.59%）。
• 学习到的任务残差幅度与相对迁移难度强相关，在更难的任务上显著增加，如 EuroSAT（1-shot 提升 23.71%）和 DTD（1-shot 提升 7.85%）。
• TaskRes 在不同视觉主干网络（包括 ResNet-50、ResNet-101、ViT-B/32 和 ViT-B/16）上均表现出一致提升，性能最高比基线方法提升 2.5%。
• 该方法仅需极少实现成本——仅需一行代码即可集成到现有模型中。
• 尽管整体性能强劲，TaskRes 在两个数据集（OxfordPets 和 Food101）上表现出负迁移，表明其在高难度、高精度零样本场景下存在局限性。