[论文解读] Zero-Shot Open Set Detection by Extending CLIP

Sepideh Esmaeilpour, Bing Liu+2 more|arXiv (Cornell University)|Sep 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

该论文提出 ZO-CLIP，一种零样本开放集检测方法，通过在 CLIP 基础上引入基于文本的图像描述生成器，在推理阶段生成候选未知类别名称，从而扩展 CLIP 的能力。通过结合已知类别与生成的未知类别名称的置信度分数，ZO-CLIP 在五个基准数据集上实现了最先进性能，且无需对已知类别进行任何训练。

ABSTRACT

In a regular open set detection problem, samples of known classes (also called closed set classes) are used to train a special classifier. In testing, the classifier can (1) classify the test samples of known classes to their respective classes and (2) also detect samples that do not belong to any of the known classes (we say they belong to some unknown or open set classes). This paper studies the problem of zero-shot open-set detection, which still performs the same two tasks in testing but has no training except using the given known class names. This paper proposes a novel and yet simple method (called ZO-CLIP) to solve the problem. ZO-CLIP builds on top of the recent advances in zero-shot classification through multi-modal representation learning. It first extends the pre-trained multi-modal model CLIP by training a text-based image description generator on top of CLIP. In testing, it uses the extended model to generate some candidate unknown class names for each test sample and computes a confidence score based on both the known class names and candidate unknown class names for zero-shot open set detection. Experimental results on 5 benchmark datasets for open set detection confirm that ZO-CLIP outperforms the baselines by a large margin.

研究动机与目标

• 解决在无已知类别训练数据的情况下进行零样本开放集检测的挑战。
• 使模型在推理阶段能够检测未知类别，而无需在训练期间接触此类类别。
• 通过为测试样本生成合理的未知类别名称，提升零样本开放集检测性能。
• 通过合成类别名称生成实现开放集推理，将 CLIP 的能力从零样本分类扩展至开放集场景。

提出的方法

• 在预训练的 CLIP 模型基础上微调一个基于文本的图像描述生成器，为每个测试图像生成候选未知类别名称。
• 使用扩展后的 CLIP 模型将已知类别名称和生成的候选未知类别名称编码到共享嵌入空间中。
• 为每个已知类别计算置信度分数，并对候选未知类别名称的分数进行聚合以评估开放性。
• 对所有已知类别和候选未知类别名称的最大置信度分数应用阈值，以检测开放集样本。
• 利用 CLIP 的多模态对齐能力，确保生成的类别名称在语义上与输入图像相关。
• 使用对比学习目标训练图像描述生成器，使其生成的文本与视觉特征对齐。

实验结果

研究问题

• RQ1 预训练的多模态模型（如 CLIP）是否可以无需在已知类别上进行任何训练，即扩展为执行零样本开放集检测？
• RQ2 通过基于文本的图像描述生成器生成候选未知类别名称，在提升开放集检测性能方面有多有效？
• RQ3 结合已知类别分数与生成的未知类别分数，是否能有效提升对分布外样本的检测能力？
• RQ4 在多种数据集上，该方法与现有基线相比在开放集检测性能方面表现如何？

主要发现

• ZO-CLIP 在五个基准数据集上的开放集检测任务中，显著优于现有基线方法。
• 集成生成的未知类别名称显著提升了模型检测分布外样本的能力。
• 该方法在无需任何已知类别训练数据的情况下，实现了最先进性能。
• 使用微调后的基于文本的图像描述生成器，增强了候选未知类别名称的多样性与相关性。
• 置信度分数机制在缺乏训练数据的情况下，能有效区分已知与未知类别。
• 该方法在不同数据分布和开放集检测场景下均表现出良好的泛化能力。