[论文解读] Self-regulating Prompts: Foundational Model Adaptation without Forgetting

Muhammad Uzair Khattak, Syed Talal Wasim+4 more|arXiv (Cornell University)|Jul 13, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 PromptSRC，一种自调节提示学习框架，通过联合优化任务特定与任务无关表征，防止基础视觉-语言模型（如 CLIP）过拟合。其方法结合冻结 CLIP 特征的相互一致性、基于训练轨迹的高斯加权自集成，以及通过多种提示模板实现的文本多样性，在基础到新类泛化基准上实现 SOTA 性能，较 MaPLe 提升 +1.42%，较 CLIP 提升 +8.26%。

ABSTRACT

Prompt learning has emerged as an efficient alternative for fine-tuning foundational models, such as CLIP, for various downstream tasks. Conventionally trained using the task-specific objective, i.e., cross-entropy loss, prompts tend to overfit downstream data distributions and find it challenging to capture task-agnostic general features from the frozen CLIP. This leads to the loss of the model's original generalization capability. To address this issue, our work introduces a self-regularization framework for prompting called PromptSRC (Prompting with Self-regulating Constraints). PromptSRC guides the prompts to optimize for both task-specific and task-agnostic general representations using a three-pronged approach by: (a) regulating prompted representations via mutual agreement maximization with the frozen model, (b) regulating with self-ensemble of prompts over the training trajectory to encode their complementary strengths, and (c) regulating with textual diversity to mitigate sample diversity imbalance with the visual branch. To the best of our knowledge, this is the first regularization framework for prompt learning that avoids overfitting by jointly attending to pre-trained model features, the training trajectory during prompting, and the textual diversity. PromptSRC explicitly steers the prompts to learn a representation space that maximizes performance on downstream tasks without compromising CLIP generalization. We perform extensive experiments on 4 benchmarks where PromptSRC overall performs favorably well compared to the existing methods. Our code and pre-trained models are publicly available at: https://github.com/muzairkhattak/PromptSRC.

研究动机与目标

• 为解决基础视觉-语言模型（如 CLIP）中的提示过拟合问题，该问题会损害其在新任务上的泛化能力。
• 在微调下游任务的同时，保留冻结 CLIP 的原始零样本泛化能力。
• 开发一种自调节提示学习框架，平衡任务特定适应与任务无关表征学习。
• 缓解视觉与文本模态监督之间的数据不平衡，尤其在低资源设置下。
• 在无微调的前提下，提升在域偏移、少样本学习与跨数据集迁移设置下的泛化能力。

提出的方法

• 引入提示与冻结 CLIP 特征之间的相互一致性最大化损失，以保留可泛化的知识。
• 采用高斯加权提示聚合（GPA）策略，整合训练各轮次的提示，以稳定学习并利用互补优势。
• 通过每类使用多个多样化的提示模板增强文本监督，提升多样性并减少文本编码器特征中的偏差。
• 采用基于 L1 距离度量的特征级一致性损失（LSCL），强制对齐视觉与文本提示表征。
• 通过预计算 CLIP 文本特征，仅在训练时增加一次视觉特征前向传播，保持推理效率。
• 采用三重正则化策略：与冻结模型的相互一致性、训练轨迹上的自集成，以及通过模板增强实现的文本多样性。

实验结果

研究问题

• RQ1 通过与冻结 CLIP 特征的相互一致性实现自调节，是否能在不牺牲下游性能的前提下提升泛化能力？
• RQ2 在训练轨迹上对提示进行自集成，是否能增强提示学习的鲁棒性与泛化能力？
• RQ3 通过使用多个提示模板增加文本多样性，是否能缓解模态间不平衡并提升表征质量？
• RQ4 PromptSRC 在域偏移、少样本及跨数据集泛化设置下的表现如何？
• RQ5 在自调节提示学习中，性能提升与计算成本之间的权衡关系如何？

主要发现

• 在 11 个数据集上的基础到新类泛化基准中，PromptSRC 实现 79.97% 的调和平均准确率，较 MaPLe 提升 +1.42%，较 CLIP 提升 +8.26%。
• PromptSRC 在域泛化任务中表现 SOTA，其在分布外数据集上的平均准确率达 60.65%，超越所有先前方法。
• 该方法保持极低训练成本，训练时间仅比 IVLP 多 9.3%，GFLOPs 仅高 0.13 倍，同时保持与基线方法相同的推理速度与 GFLOPs。
• 消融实验表明，L1 匹配损失在一致性损失中优于余弦相似度与 MSE；高斯加权提示聚合优于等权重平均。
• 增加文本模板数量可提升性能，表明文本多样性能增强监督信号与表征质量。
• 最优性能在使用 4 个视觉-语言提示且提示长度为 4 个 token 时达到，实现了表达能力与泛化能力的平衡。