[论文解读] Revisiting Few-Shot Object Detection with Vision-Language Models

Anish Madan, Neehar Peri+2 more|arXiv (Cornell University)|Dec 22, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了基础少样本目标检测（Foundational FSOD），一种新型基准测试协议，通过在目标概念的K-shot视觉和文本样本上微调视觉语言模型（VLMs），而非依赖预定义的基类/新类划分，来评估VLMs。结果表明，如GroundingDINO等零样本VLM的性能优于当前最先进（SOTA）的少样本目标检测方法（在COCO上达到48.3 vs. 33.1 AP），并通过联邦损失和多模态微调进一步提升性能，在LVIS和nuImages上分别实现了5.9 AP的增益。

ABSTRACT

The era of vision-language models (VLMs) trained on web-scale datasets challenges conventional formulations of "open-world" perception. In this work, we revisit the task of few-shot object detection (FSOD) in the context of recent foundational VLMs. First, we point out that zero-shot predictions from VLMs such as GroundingDINO significantly outperform state-of-the-art few-shot detectors (48 vs. 33 AP) on COCO. Despite their strong zero-shot performance, such foundation models may still be sub-optimal. For example, trucks on the web may be defined differently from trucks for a target application such as autonomous vehicle perception. We argue that the task of few-shot recognition can be reformulated as aligning foundation models to target concepts using a few examples. Interestingly, such examples can be multi-modal, using both text and visual cues, mimicking instructions that are often given to human annotators when defining a target concept of interest. Concretely, we propose Foundational FSOD, a new benchmark protocol that evaluates detectors pre-trained on any external data and fine-tuned on multi-modal (text and visual) K-shot examples per target class. We repurpose nuImages for Foundational FSOD, benchmark several popular open-source VLMs, and provide an empirical analysis of state-of-the-art methods. Lastly, we discuss our recent CVPR 2024 Foundational FSOD competition and share insights from the community. Notably, the winning team significantly outperforms our baseline by 23.3 mAP! Our code and dataset splits are available at https://github.com/anishmadan23/foundational_fsod

研究动机与目标

• 为解决视觉语言模型（VLMs）与真实世界目标概念（如自动驾驶中的'trailer'与网络规模数据之间的错位）之间的不匹配问题。
• 挑战传统少样本目标检测（FSOD）范式中将数据集划分为基类和新类的做法，认为其无法反映真实世界部署场景。
• 提出一种新型基准协议——Foundational FSOD，即直接在目标类别的K-shot视觉和语言样本上微调VLMs。
• 证明利用联邦损失（federated losses）可显著提升检测性能，因其充分利用了FSOD数据集的固有联邦特性（每个子集按类别完全标注）

提出的方法

• 提出Foundational FSOD，一种新型基准协议，直接在K-shot图像及其关联类别名称/描述上微调基础VLMs，绕过基类/新类划分。
• 利用现有FSOD基准数据集具有联邦特性（每个图像子集仅针对单一类别完全标注）的洞察，支持使用联邦损失函数。
• 应用联邦损失函数（如FedLoss、反向FedLoss、伪负样本）以在微调过程中提升模型与目标概念的一致性。
• 采用Detic和GroundingDINO等视觉语言模型，通过CLIP嵌入初始化分类器头，以支持零样本迁移和高效少样本适应。
• 通过消融实验识别最优微调策略，如冻结主干网络和RPN，仅微调分类器投影层和边界框回归器。
• 在LVIS和nuImages上验证方法，与SOTA方法及全量标注的最优上界（oracle upper bound）进行性能对比。

Figure 2 : Poor Alignment Between VLM and Target Concepts . Although VLMs show impressive zero-shot performance, they struggle when the target class is different from concepts encountered in web-scale training. On the left , we see that the nuImages dataset defines the cab of the truck as a separate

实验结果

研究问题

• RQ1 在不进行任何微调的情况下，预训练视觉语言模型的零样本推理能否优于当前最先进（SOTA）的少样本目标检测方法？
• RQ2 尽管零样本性能强劲，为何视觉语言模型在特定领域应用中仍无法准确检测目标概念？
• RQ3 使用K-shot多模态样本（图像+文本描述）进行微调，能否提升特定领域设置下概念对齐与检测性能？
• RQ4 如何利用现有少样本目标检测数据集的联邦特性，以最小化标注成本提升微调性能？
• RQ5 联邦损失函数在多大程度上可缩小当前少样本检测性能与全量标注最优上界之间的差距？

主要发现

• 预训练视觉语言模型（如GroundingDINO）的零样本推理在COCO上达到48.3 AP，显著优于先前SOTA方法（33.1 AP）。
• 在LVIS和nuImages基准上，通过K-shot微调和联邦损失，所提方法相比以往工作实现5.9 AP的性能提升。
• 使用CLIP初始化的分类器头并仅训练投影层可获得最佳性能，凸显预训练语言嵌入在少样本适应中的优势。
• 使用联邦损失（尤其是伪负样本和反向FedLoss）带来显著增益，最佳配置在10-shot设置下于nuImages上达到16.67 AP。
• 消融实验表明，冻结主干网络和RPN，仅微调分类器投影层和边界框回归器可实现最优性能，有效降低少样本数据上的过拟合风险。
• 即使零样本性能强劲，稀有类别（如stroller）的检测准确率仍较低，表明未来工作需引入模型集成或更丰富的文本描述。

Figure 3 : Identifying Negative Pseudo-Labels . On the left , we visualize the standard $K$ -shot detection setup, which we argue is actually a federated dataset [ 11 ] where one is given multiple mini-datasets of $K$ images. In this case, we visualize two $K=1$ datasets of bus and motorcycle . Impo