[论文解读] Negative Label Guided OOD Detection with Pretrained Vision-Language Models

Xue Jiang, Feng Liu+5 more|arXiv (Cornell University)|Mar 29, 2024

Web Data Mining and Analysis被引用 4

一句话总结

该论文提出NegLabel，一种新颖的后训练OOD检测方法，利用大规模语料库中丰富的负面标签，以增强视觉-语言模型中的分布外（OOD）检测性能。通过测量图像与分布内（ID）标签及负面标签之间的亲和力（采用学习得到的分数），该方法在多个基准测试中实现了最先进（SOTA）的性能表现，包括在ImageNet-1k上的94.21% AUROC和25.40% FPR95，且对领域分布偏移具有强鲁棒性。

ABSTRACT

Out-of-distribution (OOD) detection aims at identifying samples from unknown classes, playing a crucial role in trustworthy models against errors on unexpected inputs. Extensive research has been dedicated to exploring OOD detection in the vision modality. Vision-language models (VLMs) can leverage both textual and visual information for various multi-modal applications, whereas few OOD detection methods take into account information from the text modality. In this paper, we propose a novel post hoc OOD detection method, called NegLabel, which takes a vast number of negative labels from extensive corpus databases. We design a novel scheme for the OOD score collaborated with negative labels. Theoretical analysis helps to understand the mechanism of negative labels. Extensive experiments demonstrate that our method NegLabel achieves state-of-the-art performance on various OOD detection benchmarks and generalizes well on multiple VLM architectures. Furthermore, our method NegLabel exhibits remarkable robustness against diverse domain shifts. The codes are available at https://github.com/tmlr-group/NegLabel.

研究动机与目标

• 解决视觉-语言模型中缺乏有效利用文本信息的OOD检测方法的问题。
• 提升OOD检测在多种领域分布偏移下的泛化能力与鲁棒性。
• 开发一种后训练方法，通过整合大量语义上相距较远的负面标签来增强检测性能。
• 设计一种评分函数，平衡图像对分布内标签与负面标签的亲和力，以实现更优的OOD判别能力。

提出的方法

• 提出一种新颖的OOD评分机制，其与图像-文本对分布内（ID）标签的相似性正相关，而与对负面标签的相似性负相关。
• 引入NegMining算法，基于文本嵌入空间中余弦距离，选择与ID标签语义差异较大的高质量负面标签。
• 在推理阶段使用冻结的视觉-语言模型，通过图像编码器与文本编码器计算图像-文本相似性分数。
• 设计基于sum-softmax的OOD评分机制，对ID标签与负面标签的亲和力进行归一化，以提升判别能力。
• 在推理阶段采用分组策略以稳定分数并降低方差，无需重新训练。
• 采用提示工程与固定文本编码器，确保嵌入计算的一致性与可扩展性。

实验结果

研究问题

• RQ1 利用大量负面标签是否能够提升视觉-语言模型中OOD检测的性能？
• RQ2 与ID标签语义差异较大的负面标签如何增强分布内与分布外样本之间的可分性？
• RQ3 所提出的NegLabel方法是否能在不同视觉-语言模型架构与基准测试中实现良好泛化？
• RQ4 与现有OOD检测方法相比，该方法在各种领域分布偏移下的鲁棒性如何？
• RQ5 负面标签在OOD检测中有效性的理论基础是什么？

主要发现

• 在大规模ImageNet-1k OOD检测基准上，NegLabel实现了94.21% AUROC与25.40% FPR95，超越了众多全监督方法。
• 该方法在多个OOD检测基准（包括CIFAR-10、CIFAR-100与Tiny-ImageNet）上均表现出最先进性能。
• NegLabel在多种视觉-语言模型架构（包括CLIP、ALIGN与GroupViT）上展现出良好的泛化能力。
• 该方法在面对多种领域分布偏移时表现出强鲁棒性，能在分布偏移条件下维持高性能。
• 理论分析表明，在大规模负面标签设置下，OOD评分收敛于正态分布，支持其统计稳定性。