[论文解读] PROB: Probabilistic Objectness for Open World Object Detection

Orr Zohar, Kuan-Chieh Wang+1 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Neural Network Applications被引用 5

一句话总结

PROB 引入了一种概率性目标检测框架，通过在潜在空间中交替估计特征分布并最大化已知对象的似然性，实现了开放世界目标检测的最先进性能。通过将概率性目标检测头与可变形 DETR 联合训练，该方法在 MS-COCO 和 PASCAL VOC 基准上实现了约 2 倍的未知对象召回率提升和约 10% 的已知对象 mAP 提升。

ABSTRACT

Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection ($\sim 2 imes$ unknown recall) and known object detection ($\sim 10\%$ mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.

研究动机与目标

• 解决开放世界目标检测（OWOD）中检测未知对象的挑战，其中标准目标检测器因将未知对象误分类为背景而失效。
• 通过在特征空间中将目标检测性建模为概率密度，克服缺乏区分未知对象与背景的监督信号的问题。
• 通过联合优化目标检测性估计与已知对象似然性，同时提升未知对象检测与已知对象检测的性能。
• 通过使用概率性目标检测进行主动原型选择，实现有效的增量学习，减少灾难性遗忘。
• 开发一个统一框架，同时增强对新对象的检测能力以及在真实部署中对分布偏移的鲁棒性。

提出的方法

• 引入一种概率性目标检测头，将目标提议在嵌入特征空间中的似然性建模为密度，而无需负样本。
• 在两个训练阶段之间交替进行：(1) 估计目标嵌入的概率分布；(2) 最大化对应于已知对象的嵌入的似然性。
• 将概率性目标检测头集成到可变形 DETR（D-DETR）架构中，支持与标准检测头端到端训练。
• 在推理过程中使用估计的目标检测性分布对提议进行打分，以区分已知对象、未知对象和背景。
• 在增量学习中基于目标检测性分数实施主动原型选择，优先对高似然性的未知对象进行标注和回放。
• 使用标准的 OWOD 基准（MS-COCO、PASCAL VOC）和增量类引入协议进行训练与评估。

Figure 1 : Comparison of PROB with other open world object detectors. (a) Query embeddings (each representing a single prediction) are extracted from an image via the deformable DETR model. (b) other open-world detectors attempt to directly distinguish between unlabeled ‘hidden’ objects and backgrou

实验结果

研究问题

• RQ1 能否通过在目标嵌入空间中建立概率密度模型来提升开放世界目标检测中未知对象的检测性能？
• RQ2 联合优化目标检测性分布估计与已知对象似然性最大化是否能比启发式伪标签方法带来更好的泛化性能？
• RQ3 概率性目标检测能否同时提升未知对象检测与已知对象检测的性能？
• RQ4 基于目标检测性的原型选择在 OWOD 的增量学习中能多大程度上提升性能？
• RQ5 在多个基准上，该方法与现有最先进 OWOD 模型相比，在未知召回率和 mAP 方面表现如何？

主要发现

• 在 MS-COCO 上，PROB 相较于所有现有 OWOD 方法，未知对象召回率相对提升了 100%–300%。
• 在 MS-COCO 的所有任务中，该模型将已知对象检测的 mAP 提升了约 10%，优于 OW-DETR 和 D-DETR 基线模型。
• 在 PASCAL VOC 的增量目标检测（iOD）中，PROB 在 19+1 设置下达到最终 mAP 72.6，超过 OW-DETR 的 70.2 和 ILOD 的 68.2。
• 消融实验表明，禁用目标检测性似然最大化（PROB-Obj）会显著降低已知对象 mAP，证实了该组件的重要性。
• 基于目标检测性分数的主动原型选择（PROB-IL）在提升未知对象召回率方面优于对已知对象 mAP 的提升，凸显其在有效增量学习中的作用。
• 在所有类别（已知 + 未知）上进行端到端训练的上界 D-DETR 模型 mAP 高于 PROB，但 PROB 在未访问未知标签的情况下仍表现出更优性能，证明了其在开放世界约束下的有效性。

Figure 2 : Overview of the proposed PROB for open-world object detection . (top) Probabilistic objectness module. The probability distribution parameters of all of the query embeddings, $\theta$ , are first estimated via the exponential moving average of the mean and covariance estimators. The Mahal