[论文解读] Unsupervised Recognition of Unknown Objects for Open-World Object Detection

Ruohuan Fang, Guansong Pang+3 more|arXiv (Cornell University)|Aug 31, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出MEPU，一种新颖的无监督开放世界目标检测框架，通过使用基于重建误差的Weibull模型（REW）来区分伪标签提议中的真实未知物体与背景区域，从而缓解标签偏差问题。通过利用自编码器建模特征频率分布并结合Weibull统计方法，MEPU在MS COCO、LVIS和Objects365数据集上实现了检测未知物体的最先进性能，同时保持了强大的已知物体检测准确率。

ABSTRACT

Open-World Object Detection (OWOD) extends object detection problem to a realistic and dynamic scenario, where a detection model is required to be capable of detecting both known and unknown objects and incrementally learning newly introduced knowledge. Current OWOD models, such as ORE and OW-DETR, focus on pseudo-labeling regions with high objectness scores as unknowns, whose performance relies heavily on the supervision of known objects. While they can detect the unknowns that exhibit similar features to the known objects, they suffer from a severe label bias problem that they tend to detect all regions (including unknown object regions) that are dissimilar to the known objects as part of the background. To eliminate the label bias, this paper proposes a novel approach that learns an unsupervised discriminative model to recognize true unknown objects from raw pseudo labels generated by unsupervised region proposal methods. The resulting model can be further refined by a classification-free self-training method which iteratively extends pseudo unknown objects to the unlabeled regions. Experimental results show that our method 1) significantly outperforms the prior SOTA in detecting unknown objects while maintaining competitive performance of detecting known object classes on the MS COCO dataset, and 2) achieves better generalization ability on the LVIS and Objects365 datasets.

研究动机与目标

• 解决现有开放世界目标检测（OWOD）方法中存在的严重标签偏差问题，这些方法因依赖已知物体监督而将不相似区域误分类为背景。
• 实现对由无监督区域提议方法生成的原始伪标签区域中真实未知物体的无监督识别。
• 在无需未知类别标注的情况下，提升在LVIS和Objects365等多样化数据集上对未知物体的泛化能力和检测性能。
• 开发一种自训练流水线，通过无分类器优化策略迭代扩展检测能力至未标注区域。
• 通过Weibull模型对重建误差进行自适应阈值设定，克服现有基于重建的分布外（OOD）检测方法的局限性。

提出的方法

• 提出一种基于重建误差的Weibull模型（REW），利用自编码器编码区域特征，并通过Weibull分布建模重建误差，以区分前景（真实未知物体）与背景（均匀纹理）。
• 使用独立主干网络训练REW模块，以保留密集特征的语义表达能力，避免下游检测任务带来的干扰。
• 基于Weibull模型的重建误差分布，为伪标签区域分配软标签，表示其为真实未知物体的可能性。
• 将REW与检测头集成，利用这些软标签优化未知物体预测，减少来自背景区域的误报。
• 应用一种无分类器的自训练策略（ROLNet），通过利用REW模块生成的高分伪标签，将检测能力扩展至未标注区域。
• 采用端到端联合训练方案，使自编码器与检测模型协同训练；但消融实验表明，由于特征偏差问题，使用在线训练时性能会下降。

实验结果

研究问题

• RQ1 在不依赖已知物体监督的前提下，对特征频率分布进行无监督建模是否能有效区分真实未知物体与背景区域？
• RQ2 与现有OWOD方法中基于objectness分数的伪标签策略相比，REW模块基于Weibull的重建误差建模在提升未知物体检测性能方面有何优势？
• RQ3 自训练机制（ROLNet）在提升对未见未知物体在未标注区域中的检测能力方面，其效果如何？
• RQ4 所提方法在跨数据集评估中是否优于先前的最先进方法，特别是在LVIS和Objects365上的泛化能力如何？
• RQ5 使用独立重建主干与在线训练相比，对整体检测性能和特征质量有何影响？

主要发现

• MEPU在S-OWODB Task-1基准上实现了54.8%的未知物体R@100，显著优于依赖objectness分数且受标签偏差影响的先前最先进方法。
• REW模块通过建模特征频率分布，有效降低背景区域的误报率，对均匀纹理（如天空、墙壁）分配低分（0.0–0.3），而对真实未知物体分配高分（0.7–1.0）。
• 在LVIS和Objects365数据集上，MEPU展现出优于现有OWOD模型的泛化能力，表明其在多样化且开放式的物体类别中具有鲁棒性。
• 消融研究显示，使用独立重建主干（MEPU-FS）的性能优于在线训练（mAP下降−0.3，R@100下降−4.1），证实了在特征学习中保持语义表达能力的重要性。
• 通过ROLNet进行自训练可提升未知物体检测性能，但若将OLN替换为基于RPN的伪标签生成，则R@100下降6.1个百分点，表明OLN模块对维持检测质量至关重要。
• 失败案例揭示了在复杂背景或部分物体检测场景下的局限性，模型有时会将纹理背景或物体局部区域误判为未知物体，原因在于缺乏语义监督。