[论文解读] SVL-Adapter: Self-Supervised Adapter for Vision-Language Pretrained Models

Omiros Pantazis, Gabriel Brostow+2 more|arXiv (Cornell University)|Oct 7, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

SVL-Adapter 是一种自监督适配器，通过结合视觉-语言预训练与自监督表示学习，提升在分布外数据集上的零样本和低样本图像分类性能。其相比现有方法平均准确率提升 10%，并提出一种自动超参数选择方法，无需使用标注验证数据。

ABSTRACT

Vision-language models such as CLIP are pretrained on large volumes of internet sourced image and text pairs, and have been shown to sometimes exhibit impressive zero- and low-shot image classification performance. However, due to their size, fine-tuning these models on new datasets can be prohibitively expensive, both in terms of the supervision and compute required. To combat this, a series of light-weight adaptation methods have been proposed to efficiently adapt such models when limited supervision is available. In this work, we show that while effective on internet-style datasets, even those remedies under-deliver on classification tasks with images that differ significantly from those commonly found online. To address this issue, we present a new approach called SVL-Adapter that combines the complementary strengths of both vision-language pretraining and self-supervised representation learning. We report an average classification accuracy improvement of 10% in the low-shot setting when compared to existing methods, on a set of challenging visual classification tasks. Further, we present a fully automatic way of selecting an important blending hyperparameter for our model that does not require any held-out labeled validation data. Code for our project is available here: https://github.com/omipan/svl_adapter.

研究动机与目标

• 解决 CLIP 等视觉-语言模型在医学、遥感、生物多样性图像等分布外挑战性视觉数据集上泛化能力差的问题。
• 克服现有适配器方法依赖保留标注数据进行超参数调优的局限性。
• 结合视觉-语言预训练与自监督学习的优势，提升低资源场景下的表示学习性能。
• 开发一种完全自动化的混合超参数选择方法，用于 CLIP 与自监督特征之间的融合，无需依赖标注验证数据。

提出的方法

• 提出 SVL-Adapter，一种轻量级适配器模块，将视觉-语言模型（如 CLIP）的特征与从相同图像数据中学习到的自监督表示进行融合。
• 使用可学习的混合门动态结合 CLIP 特征与自监督特征，支持融合过程的端到端优化。
• 采用在目标数据集图像上无标注训练的自监督表示头，使用对比学习目标（如 SimCLR 或 MoCo）进行训练。
• 提出一种自动超参数选择机制，利用模型在无标注数据上的预测结果估计最优混合权重，避免对标注验证集的依赖。
• 在低样本和零样本设置中应用该适配器：在低样本设置中，使用 CLIP 生成的伪标签作为训练目标；在零样本设置中，直接利用 CLIP 的零样本能力，结合适配后的特征。
• 在图像数据与伪标签的组合上训练适配器，最终分类头进行端到端微调。

实验结果

研究问题

• RQ1 将视觉-语言预训练与自监督表示学习相结合，是否能显著提升在挑战性、分布外数据集上的零样本和低样本图像分类性能？
• RQ2 所提出的混合门自动超参数选择方法是否优于依赖标注验证数据的标准方法？
• RQ3 在多样化的视觉分类任务中，SVL-Adapter 相较于现有适配器方法在准确率与数据效率方面表现如何？
• RQ4 SVL-Adapter 在不使用任何标注数据进行微调或超参数调整的情况下，能在多大程度上提升零样本性能？

主要发现

• 在低样本设置下，SVL-Adapter 在挑战性视觉分类任务上的平均 top-1 准确率相比现有方法提升 10%。
• 在 'Challenging' 数据集上，SVL-Adapter 显著优于当前最先进方法，最大提升出现在 2-shot 及以上设置中。
• 自动超参数选择方法（SVL-Adapter*）在无需任何标注验证数据的情况下，性能与 SVL-Adapter 在挑战性数据集上相当。
• 在零样本设置下，SVL-Adapter* 在挑战性数据集上平均提升 top-1 准确率 8%，在标准数据集上提升 5%，相比标准 CLIP。
• 该方法在 ImageNet 和 CIFAR 等标准数据集上仍保持竞争力，证明其作为强大基线的普适性。
• 尽管性能优异，SVL-Adapter 在细粒度数据集（如 StanfordCars 和 FGVCAircraft）上仍表现出局限性，这些数据集本身对自监督学习具有挑战性。