[论文解读] SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification

Peng Fang, Xiaoshan Yang+3 more|arXiv (Cornell University)|Nov 28, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

SgVA-CLIP 提出了一种语义引导的视觉适应框架，通过隐式知识蒸馏、视觉特定对比损失和跨模态对比损失，学习判别性视觉特征，从而增强 CLIP 等视觉-语言模型在少样本图像分类中的性能。该方法实现了最先进性能，在 miniImageNet 上相比基线 CLIP 准确率最高提升 4.88%，在 ResNet101 上提升 1.25%。

ABSTRACT

Although significant progress has been made in few-shot learning, most of existing few-shot image classification methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale Vision-Language Pre-trained models (VLPs) have been gaining increasing attention in few-shot learning because they can provide a new paradigm for transferable visual representation learning with easily available text on the Web. However, the VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier to distinguish different images. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative adapted visual features by comprehensively using an implicit knowledge distillation, a vision-specific contrastive loss, and a cross-modal contrastive loss. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

研究动机与目标

• 解决视觉-语言预训练模型（VLPs）在少样本学习中的局限性，这些模型常忽略难以用文本描述的细粒度视觉细节。
• 通过在跨模态对齐之外增强视觉表征，提升少样本图像分类性能，尤其在标注数据稀缺的情况下。
• 在不微调视觉编码器的前提下，实现对预训练 VLPs（如 CLIP）的有效适应，同时保持泛化能力并学习任务特定特征。
• 全面整合单模态视觉表征学习与跨模态对齐，以提升分类的鲁棒性和准确性。

提出的方法

• 引入视觉适配器层，在保持 CLIP 视觉主干网络冻结的同时，学习任务特定的视觉特征。
• 应用隐式知识蒸馏，将预训练 CLIP 中的细粒度跨模态知识迁移至视觉适配器。
• 使用视觉特定对比损失优化视觉适配器，以增强适配后视觉特征的判别能力。
• 同时优化跨模态对比损失，以保持图像与文本表征之间的对齐。
• 使用可学习提示（prompt）进一步提升文本嵌入质量，从而实现对新类别的更好零样本迁移。
• 端到端训练视觉适配器和可学习提示，同时保持冻结的 CLIP 编码器，最大限度减少参数更新，同时实现性能最大化。

实验结果

研究问题

• RQ1 通过知识蒸馏和对比学习适配的视觉表征，是否能在超越标准跨模态对齐的基础上，进一步提升少样本图像分类性能？
• RQ2 将单模态视觉特征学习与跨模态对齐相结合，对少样本基准测试性能有何影响？
• RQ3 视觉适配器（如隐藏维度、温度）的最佳配置是什么，能最大化少样本准确率？
• RQ4 SgVA-CLIP 是否能在不同视觉主干网络和少样本设置下实现良好泛化？
• RQ5 在不微调视觉编码器的前提下，仅通过少量外部参数，该模型能将性能提升到何种程度？

主要发现

• 在 miniImageNet 的 5 类 1 样本设置下，SgVA-CLIP 达到 97.95% 的准确率，相比 CLIP 基线提升 4.88%。
• 在 tieredImageNet 上，SgVA-CLIP 在 5 类 1 样本设置下达到 95.73% 的准确率，比基线高出 6.01 个百分点。
• 视觉适配器与可学习提示的结合实现了最高性能，在 ViT-B/16 上相比 CoOp 平均准确率提升 2.74%。
• 知识蒸馏的最佳温度超参数为 τ₂ = 5，在 ImageNet 和 SUN397 上均取得最佳性能。
• 隐藏维度为 4096 的视觉适配器在表征容量与冗余之间实现了最佳平衡，优于更小或更大的配置。
• 可视化结果表明，适配后的视觉特征比预训练特征更具判别性，尤其在区分外观相似的类别（如具有不同鸟喙的鸟类）方面表现更优。