[论文解读] Vocabulary-free Image Classification

Alessandro Conti, Enrico Fini+4 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了无词汇表图像分类（VIC），这是一种新颖的任务，可在不依赖预定义词汇表的情况下，将图像分类到无约束的语义空间中。作者提出CaSED，一种无需训练的方法，通过从外部视觉-语言数据库检索语义相似的描述，并利用CLIP将图像与最佳候选类别匹配，实现了在基准测试中的最先进性能，且计算成本极低。

ABSTRACT

Recent advances in large vision-language models have revolutionized the image classification paradigm. Despite showing impressive zero-shot capabilities, a pre-defined set of categories, a.k.a. the vocabulary, is assumed at test time for composing the textual prompts. However, such assumption can be impractical when the semantic context is unknown and evolving. We thus formalize a novel task, termed as Vocabulary-free Image Classification (VIC), where we aim to assign to an input image a class that resides in an unconstrained language-induced semantic space, without the prerequisite of a known vocabulary. VIC is a challenging task as the semantic space is extremely large, containing millions of concepts, with hard-to-discriminate fine-grained categories. In this work, we first empirically verify that representing this semantic space by means of an external vision-language database is the most effective way to obtain semantically relevant content for classifying the image. We then propose Category Search from External Databases (CaSED), a method that exploits a pre-trained vision-language model and an external vision-language database to address VIC in a training-free manner. CaSED first extracts a set of candidate categories from captions retrieved from the database based on their semantic similarity to the image, and then assigns to the image the best matching candidate category according to the same vision-language model. Experiments on benchmark datasets validate that CaSED outperforms other complex vision-language frameworks, while being efficient with much fewer parameters, paving the way for future research in this direction.

研究动机与目标

• 正式定义一种新的图像分类任务——无词汇表图像分类（VIC），以消除对预定义静态类别词汇表的需求。
• 解决将图像分类到包含数百万个细粒度且动态演化的概念的庞大无约束语义空间中的挑战。
• 开发一种无需任何微调或额外训练的方法，以确保计算效率和灵活性。
• 提出评估指标，以准确衡量在无固定词汇表情况下，预测语义类别与真实语义类别之间的对齐程度。
• 证明外部视觉-语言数据库在无约束设置下的零样本分类任务中，提供的语义先验强于经过描述增强的视觉-语言模型。

提出的方法

• CaSED 使用CLIP的视觉编码器，从外部视觉-语言数据库中检索与输入图像语义相似的描述。
• 通过文本解析和过滤，从检索到的描述中提取候选类别，以去除噪声和无关术语。
• 通过计算输入图像与每个候选类别的多模态相似度得分，利用CLIP的联合视觉-文本嵌入空间做出最终类别预测。
• 该方法以无训练方式运行，仅依赖预训练的CLIP和外部数据库，无需参数更新或微调。
• 该方法利用现代视觉-语言数据库（如PMD、CC12M）的大规模覆盖范围，探索包括细粒度类别在内的多样化语义概念。
• 通过控制检索描述的数量来优化性能，当检索数量超过10–20个时出现饱和现象，这是由于低相关性结果可能引入噪声。

实验结果

研究问题

• RQ1 外部视觉-语言数据库能否作为无约束语义空间中零样本图像分类的有效语义先验？
• RQ2 视觉-语言数据库的规模和质量如何影响无词汇表图像分类的性能？
• RQ3 无训练方法能否在无预定义词汇表的情况下，超越复杂且微调过的视觉-语言模型在零样本分类中的表现？
• RQ4 在候选生成阶段，检索多少描述数量能实现语义覆盖与噪声之间的最佳平衡？
• RQ5 当不存在固定词汇表时，如何评估预测标签与真实标签之间的语义对齐程度？

主要发现

• CaSED 在所有基准数据集上均优于复杂的微调过的视觉-语言模型（如BLIP-2），包括粗粒度分类（Caltech-101、UCF101）和细粒度分类（FGVC-Aircraft、Flowers-102）任务。
• 性能随更大、更高质量的视觉-语言数据库而提升，CC12M 和 Redcaps 的结果与 YFCC100M 的完整子集相当或更优。
• 当使用 YFCC100M 子集时，聚类准确率相比 CC3M 提升了 +8.9%，凸显了数据库质量的影响。
• 在检索 10–20 个描述后性能趋于饱和，K=20 时语义相似度略有下降，表明收益递减且可能因无关描述引入噪声。
• CaSED 以极低的计算成本实现了最先进性能，无需额外训练或参数更新，因此具有高度的效率和可扩展性。
• 该方法通过利用外部数据库的广泛覆盖范围，在包括细粒度类别在内的多样化语义空间中表现出稳健性。