[论文解读] Unleashing the Power of Visual Prompting At the Pixel Level

Junyang Wu, Xianhang Li+5 more|arXiv (Cornell University)|Dec 20, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文提出了一种新型像素级视觉提示方法——增强视觉提示（Enhanced Visual Prompting, EVP），将提示视为独立组件，在缩小的输入图像周围进行形变，以保留原始特征。通过整合对抗性训练技术（如梯度归一化和输入多样性），EVP在12项基准测试中实现了82.5%的平均准确率，相比之前最先进方法提升+5.2%，相比线性探测提升+2.2%，且基于CLIP模型实现。

ABSTRACT

This paper presents a simple and effective visual prompting method for adapting pre-trained models to downstream recognition tasks. Our method includes two key designs. First, rather than directly adding together the prompt and the image, we treat the prompt as an extra and independent learnable component. We show that the strategy of reconciling the prompt and the image matters, and find that warping the prompt around a properly shrinked image empirically works the best. Second, we re-introduce two "old tricks" commonly used in building transferable adversarial examples, i.e., input diversity and gradient normalization, into visual prompting. These techniques improve optimization and enable the prompt to generalize better. We provide extensive experimental results to demonstrate the effectiveness of our method. Using a CLIP model, our prompting method sets a new record of 82.8% average accuracy across 12 popular classification datasets, substantially surpassing the prior art by +5.6%. It is worth noting that this prompting performance already outperforms linear probing by +2.1% and can even match fully fine-tuning in certain datasets. In addition, our prompting method shows competitive performance across different data scales and against distribution shifts. The code is publicly available at https://github.com/UCSC-VLAA/EVP.

研究动机与目标

• 解决视觉提示与线性探测在微调预训练视觉模型时的性能差距。
• 通过保留原始图像信息，提升像素级视觉提示的泛化能力与优化效果。
• 探究对抗性训练技术是否能增强视觉提示性能。
• 为下游视觉任务开发一种参数高效、有效的全微调与线性探测替代方案。

提出的方法

• 将视觉提示视为独立可学习组件，而非直接添加到输入图像上。
• 缩小原始图像，并在周围填充可学习提示，以防止特征破坏并实现独立优化。
• 应用梯度归一化（对完整图像梯度使用L2范数）以稳定训练并提升泛化能力。
• 通过数据增强（如随机水平翻转）引入输入多样性，以增强鲁棒性与优化效果。
• 在可学习标记上使用位置嵌入，以提升空间感知能力与性能表现。
• 通过标准反向传播端到端优化提示，同时保持主干网络冻结。

实验结果

研究问题

• RQ1 像素级视觉提示能否在下游视觉任务中超越线性探测？
• RQ2 提示-图像交互设计如何影响性能与特征保留？
• RQ3 如梯度归一化与输入多样性等对抗性训练技术能否提升视觉提示的泛化能力？
• RQ4 该方法在数据稀缺与分布偏移情况下的表现如何？
• RQ5 像素级提示能否匹配或超越全微调性能？

主要发现

• EVP在使用CLIP-Base模型的情况下，于12项标准视觉基准测试中实现了82.5%的平均top-1准确率，相比之前最先进视觉提示方法（VPT）提升+5.2%。
• 该方法相比线性探测提升+2.2%（80.3% vs. 82.5%），表明视觉提示可比简单的特征级微调更有效。
• EVP在多个数据集上达到或超过全微调性能，表明其具备强大的表征能力。
• 输入多样性（如RandomHorizontalFlip）使性能提升0.7%，而更强的增强方法（如RandAug或CutMix）则导致性能下降0.8–1.1%。
• 使用完整图像梯度进行梯度归一化（L2-whole）在CIFAR100上实现81.2%的准确率，优于部分梯度归一化（79.4%）。
• 在可学习标记上添加位置嵌入显著提升性能，其中V P1T实现84.8%的平均准确率——相比VPT提升+2.4%。