[论文解读] Points as Queries: Weakly Semi-supervised Object Detection by Points

Liangyu Chen, Tong Yang+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Neural Network Applications参考文献 32被引用 5

一句话总结

该论文提出了一种新颖的弱监督半监督目标检测设置，利用点标注以降低标注成本并提升检测性能。它提出了 Point DETR，一种基于 DETR 的检测器，通过点编码器将点的位置和类别编码为对象查询，实现精确的一对一框预测与相对回归；在仅使用 20% 完全标注的 COCO 数据下，其 mAP 达到 33.3，比 FCOS 提高 2.0 mAP，并在 AR 指标上实现超过 10 分的提升。

ABSTRACT

We propose a novel point annotated setting for the weakly semi-supervised object detection task, in which the dataset comprises small fully annotated images and large weakly annotated images by points. It achieves a balance between tremendous annotation burden and detection performance. Based on this setting, we analyze existing detectors and find that these detectors have difficulty in fully exploiting the power of the annotated points. To solve this, we introduce a new detector, Point DETR, which extends DETR by adding a point encoder. Extensive experiments conducted on MS-COCO dataset in various data settings show the effectiveness of our method. In particular, when using 20% fully labeled data from COCO, our detector achieves a promising performance, 33.3 AP, which outperforms a strong baseline (FCOS) by 2.0 AP, and we demonstrate the point annotations bring over 10 points in various AR metrics.

研究动机与目标

• 通过引入一种新的弱监督半监督设置（使用点级标注）来降低目标检测中的标注成本，同时保持高性能。
• 解决现有检测器因多级特征图选择或严格点要求而无法有效利用点标注的局限性。
• 提出一种简单但高效的检测器 Point DETR，利用点编码器在点与对象查询之间建立一一对应关系。
• 证明点标注能显著提升检测召回率和泛化能力，尤其在低资源标注场景下。

提出的方法

• 提出一种新的弱监督半监督目标检测设置，结合少量完全标注图像与大量稀疏点标注图像，实现成本与性能的平衡。
• 提出 Point DETR，一种改进的 DETR 架构，增加点编码器将点坐标与类别转换为对象查询。
• 使用相对回归来预测边界框作为点位置的偏移量，提升定位精度并减少错配错误。
• 采用单层特征图以避免多级特征选择的复杂性，简化训练过程并提高鲁棒性。
• 将 DETR 的 Transformer 解码器适配为关注点编码查询，实现端到端检测并实现一一对应预测。
• 采用自训练框架，在弱标注图像上应用伪标签，利用点标注指导伪框生成。

实验结果

研究问题

• RQ1 点标注是否能提供足够的实例级监督，以实现极低标注成本的弱监督半监督目标检测？
• RQ2 为何现有检测器难以充分挖掘点标注的潜力，尤其是在基于多级特征图的架构中？
• RQ3 单阶段、基于查询的检测器（如 DETR）能否被有效适配以利用点标注实现精确定位？
• RQ4 与绝对回归相比，从点位置出发的相对回归在定位精度和鲁棒性方面表现如何？
• RQ5 在低数据设置下，点标注在多大程度上提升了检测召回率和泛化能力？

主要发现

• 仅使用 20% 完全标注的 COCO 数据，Point DETR 达到 33.3 mAP，比 FCOS 高 2.0 mAP，比 Faster R-CNN 高 1.9 mAP。
• Point DETR 在所有类别（AR s, AR m, AR l, AR 100）上的 AR 指标均提升超过 10 分，表明召回能力显著增强。
• Point DETR 在 mAP 上与 DETR 表现相当（26.8 vs. 26.9），但在召回方面显著优于 DETR，表明其具有更好的对象覆盖能力。
• Point DETR 对点位置具有鲁棒性：无论点位于物体中心还是物体上的任意位置，性能均保持稳定。
• 相对回归通过利用点位于其对应框内的先验知识，相比绝对回归能更有效地减少定位误差。
• 点标注有助于缓解基线 DETR 在伪标签设置下常见的漏检真实框问题，同时仅引入少量重复检测错误。