[论文解读] Objects in Semantic Topology

Shuo Yang, Peize Sun+7 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 15

一句话总结

本文提出语义拓扑（Semantic Topology），一种统一的开放世界目标检测框架，通过将目标实例分配到预定义的语义节点（包括'未知'类别）来强制实现判别性和一致性的特征表示。通过在增量学习过程中保持拓扑一致性，该方法相比SOTA将开放集错误降低了60%以上，在COCO-OpenWorld上实现了2,120的绝对开放集错误（ASE）。

ABSTRACT

A more realistic object detection paradigm, Open-World Object Detection, has arisen increasing research interests in the community recently. A qualified open-world object detector can not only identify objects of known categories, but also discover unknown objects, and incrementally learn to categorize them when their annotations progressively arrive. Previous works rely on independent modules to recognize unknown categories and perform incremental learning, respectively. In this paper, we provide a unified perspective: Semantic Topology. During the life-long learning of an open-world object detector, all object instances from the same category are assigned to their corresponding pre-defined node in the semantic topology, including the `unknown' category. This constraint builds up discriminative feature representations and consistent relationships among objects, thus enabling the detector to distinguish unknown objects out of the known categories, as well as making learned features of known objects undistorted when learning new categories incrementally. Extensive experiments demonstrate that semantic topology, either randomly-generated or derived from a well-trained language model, could outperform the current state-of-the-art open-world object detectors by a large margin, e.g., the absolute open-set error is reduced from 7832 to 2546, exhibiting the inherent superiority of semantic topology on open-world object detection.

研究动机与目标

• 解决当前开放世界目标检测器将未知目标视为背景、并在增量学习中遭受灾难性遗忘的局限性。
• 将未知目标识别与增量学习统一于单一框架中，以提升终身目标检测的鲁棒性与一致性。
• 建立形式化的、基于拓扑的表示方法，将所有类别（包括未知类别）映射到预定义的语义节点，以确保特征的判别性与一致性。
• 证明即使随机生成的语义锚点也能超越SOTA，从而证明拓扑一致性在开放世界学习中的内在价值。

提出的方法

• 定义一种语义拓扑，其中每个目标类别（已知或未知）都被映射到共享嵌入空间中的预定义节点（质心）。
• 引入语义锚点损失（$\mathcal{L}_{sa}$），将目标特征聚类到其对应的语义节点周围，以强化类内紧凑性。
• 应用语义锚点分类损失（$\mathcal{L}_{cls_{se}}$），在节点级别区分已知与未知类别。
• 使用标准RoI特征分类损失（$\mathcal{L}_{cls_{roi}}$）进行已知类别的识别，确保与现有检测器的兼容性。
• 通过预训练语言模型（如CLIP、BERT）或随机向量生成语义锚点，以定义拓扑结构，从而实现灵活性与可扩展性。
• 在增量学习的各个阶段保持拓扑一致性，防止先前学习的已知类别特征发生畸变。

实验结果

研究问题

• RQ1 基于语义拓扑的统一框架是否能同时提升开放世界目标检测中的未知目标识别与增量学习性能？
• RQ2 强制执行特征拓扑一致性在缓解增量学习过程中灾难性遗忘方面有何影响？
• RQ3 在缺乏显式语义先验的情况下，随机或预训练生成的语义锚点在开放世界检测中能多大程度上超越SOTA方法？
• RQ4 语义锚点聚类损失与分类损失对整体检测性能的相对贡献如何？
• RQ5 与分步或独立模块化方法相比，所提出的基于拓扑的方法是否更有效地降低开放集错误？

主要发现

• 语义拓扑将COCO-OpenWorld上的绝对开放集错误（ASE）从SOTA的7,832降低至2,120，相对减少73%。
• 使用CLIP或BERT生成的语义锚点可实现SOTA性能，ASE为2,120，mAP为30.11，相比ORE在mAP上提升10.5%。
• 即使使用随机生成的语义锚点，其性能仍优于ORE，ASE为2,546，mAP为29.53，证明了拓扑一致性内在的有效性。
• 消融实验表明，语义锚点聚类损失（$\mathcal{L}_{sa}$）与分类损失（$\mathcal{L}_{cls_{se}}$）对有效未知检测均不可或缺。
• 完整模型在所有损失共同作用下表现最佳，ASE为2,120，mAP为30.11，表明各组件具有互补性与协同效应。
• 该方法在增量任务中保持了稳定性能，已知类别特征几乎无畸变，证实了语义拓扑的一致性。