[论文解读] Understanding and Improving Visual Prompting: A Label-Mapping Perspective

Aochuan Chen, Yuguang Yao+3 more|arXiv (Cornell University)|Nov 21, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 ILM-VP，一种新颖的视觉提示框架，通过联合优化标签映射（LM）与视觉提示，提升零样本迁移的准确率。通过使用双层优化迭代优化源类别与目标类别之间的标签映射，ILM-VP 实现了当前最优性能——在微调 ImageNet 预训练的 ResNet-18 时，Flowers102 数据集上准确率提升 7.9%，CIFAR100 数据集上提升 6.7%；在基于 CLIP 的提示设置下，Flowers102 数据集上的准确率提升达 13.7%。

ABSTRACT

We revisit and advance visual prompting (VP), an input prompting technique for vision tasks. VP can reprogram a fixed, pre-trained source model to accomplish downstream tasks in the target domain by simply incorporating universal prompts (in terms of input perturbation patterns) into downstream data points. Yet, it remains elusive why VP stays effective even given a ruleless label mapping (LM) between the source classes and the target classes. Inspired by the above, we ask: How is LM interrelated with VP? And how to exploit such a relationship to improve its accuracy on target tasks? We peer into the influence of LM on VP and provide an affirmative answer that a better 'quality' of LM (assessed by mapping precision and explanation) can consistently improve the effectiveness of VP. This is in contrast to the prior art where the factor of LM was missing. To optimize LM, we propose a new VP framework, termed ILM-VP (iterative label mapping-based visual prompting), which automatically re-maps the source labels to the target labels and progressively improves the target task accuracy of VP. Further, when using a contrastive language-image pretrained (CLIP) model, we propose to integrate an LM process to assist the text prompt selection of CLIP and to improve the target task accuracy. Extensive experiments demonstrate that our proposal significantly outperforms state-of-the-art VP methods. As highlighted below, we show that when reprogramming an ImageNet-pretrained ResNet-18 to 13 target tasks, our method outperforms baselines by a substantial margin, e.g., 7.9% and 6.7% accuracy improvements in transfer learning to the target Flowers102 and CIFAR100 datasets. Besides, our proposal on CLIP-based VP provides 13.7% and 7.1% accuracy improvements on Flowers102 and DTD respectively. Our code is available at https://github.com/OPTML-Group/ILM-VP.

研究动机与目标

• 理解标签映射（LM）在视觉提示（VP）中的作用，该问题在以往研究中被忽视。
• 解决由于标签映射不一致或任意性导致的可解释性不足与性能欠佳问题。
• 联合优化视觉提示与标签映射，以在零样本迁移学习中提升准确率与可解释性。
• 通过整合标签映射，将该框架扩展至基于 CLIP 的提示设置，以实现最优文本提示选择。
• 提供一个统一、可解释且准确的 VP 框架，其性能优于现有最先进方法。

提出的方法

• 提出 ILM-VP，一种双层优化框架，联合训练视觉提示并优化源类别与目标类别之间的标签映射（LM）。
• 引入一种迭代式标签映射过程，提升映射精度与解释质量，从而增强 VP 性能。
• 采用 BLO（双层优化）公式同时优化视觉提示与 LM 函数，确保输入扰动与标签分配之间的一致性。
• 通过将上下文融合的文本提示视为“虚拟源标签”，将 ILM-VP 框架应用于基于 CLIP 的提示设置，并优化其到目标标签的映射。
• 采用对比学习目标，指导最优文本提示模板的选择，从而同时提升准确率与语义可解释性。
• 将优化后的 LM 集成至提示生成流程中，实现基于自动且可解释的方式，选择高质量的文本提示用于 CLIP。

Figure 1 : Overview of VP pipelines (prior art [ 1 , 2 ] and our proposal termed ILM-VP ) and accuracy improvement achieved by ILM-VP on target image classification tasks at-a-glance. Generally speaking, VP aims to generate a universal input perturbation template ( i.e. , ‘visual prompt’) and levera

实验结果

研究问题

• RQ1 标签映射（LM）在零样本迁移学习中的视觉提示（VP）有效性中起到何种作用？
• RQ2 为何即使在源类别与目标类别之间存在看似任意或无规则的标签映射时，VP 依然有效？
• RQ3 能否通过迭代优化标签映射来同时提升视觉提示的准确率与可解释性？
• RQ4 如何系统性地优化基于 CLIP 的视觉提示中的标签映射，以提升下游任务性能？
• RQ5 视觉提示与标签映射的联合设计是否能在准确率与可解释性方面超越现有 VP 方法？

主要发现

• 在微调 ImageNet 预训练的 ResNet-18 时，ILM-VP 在 Flowers102 数据集上相比 SOTA 基线模型准确率提升 7.9%。
• 在 CIFAR100 数据集上，ILM-VP 相较于最先进视觉提示方法准确率提升 6.7%。
• 在基于 CLIP 的提示设置中，ILM-VP 在 Flowers102 数据集上准确率较基线 VP+TP 方法提升 13.7%，在 DTD 数据集上提升 7.1%。
• 优化后的标签映射生成了更具语义意义的文本提示模板，例如将 'buttercup' 映射为 'a close-up photo of a {}'，而非 'This is a photo of a {}'。
• 在 ImageNet-R 和 ImageNet-Sketch 等领域偏移基准测试中，所选提示反映了特定领域的特征，增强了可解释性。
• 该方法在 13 个不同目标数据集上均表现出一致的性能提升，证实了 ILM-VP 框架的泛化能力与鲁棒性。

Figure 2 : Visualizations of RLM and FLM using the source dataset ImageNet-1K and the pretrained ResNet-18, as well as the target dataset Flowers102. In FLM, the pre-prompt label mapping using ( 6 ) selects source labels different from FLM. Yet, the post-prompt label mapping using ( 6 ) at $\boldsym