[论文解读] WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection

Shijie Fang, Yuhang Cao+4 more|arXiv (Cornell University)|May 21, 2021

Advanced Neural Network Applications参考文献 39被引用 5

一句话总结

本文提出WSSOD，一种新颖的两阶段弱监督与半监督目标检测框架，通过联合利用少量完全标注数据和大量弱标注图像（仅含图像级别标签）实现性能突破。通过在两种数据类型上使用全局分类损失和标签注意力训练代理检测器，并采用随机伪标签采样（RPS）策略生成高质量伪边界框，WSSOD在仅使用30%标注数据的情况下于COCO数据集上达到36.1% mAP，几乎与完全监督训练的37.6% mAP持平。

ABSTRACT

The performance of object detection, to a great extent, depends on the availability of large annotated datasets. To alleviate the annotation cost, the research community has explored a number of ways to exploit unlabeled or weakly labeled data. However, such efforts have met with limited success so far. In this work, we revisit the problem with a pragmatic standpoint, trying to explore a new balance between detection performance and annotation cost by jointly exploiting fully and weakly annotated data. Specifically, we propose a weakly- and semi-supervised object detection framework (WSSOD), which involves a two-stage learning procedure. An agent detector is first trained on a joint dataset and then used to predict pseudo bounding boxes on weakly-annotated images. The underlying assumptions in the current as well as common semi-supervised pipelines are also carefully examined under a unified EM formulation. On top of this framework, weakly-supervised loss (WSL), label attention and random pseudo-label sampling (RPS) strategies are introduced to relax these assumptions, bringing additional improvement on the efficacy of the detection pipeline. The proposed framework demonstrates remarkable performance on PASCAL-VOC and MSCOCO benchmark, achieving a high performance comparable to those obtained in fully-supervised settings, with only one third of the annotations.

研究动机与目标

• 通过联合利用有限完全标注数据与丰富弱标注数据，弥合完全监督与弱/半监督目标检测之间的性能差距。
• 通过放松传统基于阈值的标签生成假设，提升半监督设置下伪标签的质量。
• 在统一的EM框架下构建更鲁棒且理论基础更扎实的弱监督与半监督检测训练流程。
• 通过改进模型初始化与伪标签精炼，最小化标注成本，同时最大化检测性能。

提出的方法

• 提出一种基于两阶段EM的流程：首先在完全标注与弱标注数据上训练代理检测器，以估计隐藏边界框后验概率。
• 在第一阶段使用全局分类损失，以利用弱标注数据，使代理检测器性能超越完全监督基线。
• 引入标签注意力模块，通过建模提议中的上下文与类别关系，增强特征表示。
• 设计随机伪标签采样（RPS）模块，以绕过固定阈值假设，直接从预测概率中采样，生成更可靠的伪标签。
• 在第二阶段，目标检测器在完全标注数据与伪标注的弱标注数据上进行训练，基于EM框架最大化联合似然。
• 在PASCOCO与VOC基准上验证该框架，展现出极强的泛化能力，且标注成本极低。

实验结果

研究问题

• RQ1 统一的EM框架是否能通过更准确估计隐藏边界框后验概率，提升弱监督与半监督目标检测的可靠性与性能？
• RQ2 在第一阶段联合训练完全标注与弱标注数据，是否能增强代理检测器生成准确伪标签的能力？
• RQ3 与完全监督基线相比，标签注意力与全局分类损失在多大程度上提升了代理检测器性能？
• RQ4 在检测精度与鲁棒性方面，随机伪标签采样（RPS）是否优于固定阈值伪标签生成方法？
• RQ5 所提出的WSSOD流程是否能在仅使用部分完全标注数据的情况下，实现接近完全监督的性能？

主要发现

• 在10%标注协议下，采用全局分类损失与标签注意力训练的代理检测器在COCO数据集上达到28.9% mAP，较相同训练轮次的完全监督基线高出4.8%。
• 在仅使用30%完全标注数据的情况下，目标检测器在COCO数据集上达到36.1% mAP，接近完全监督基线的37.6% mAP。
• 在PASCOCO数据集上，WSSOD流程达到78.9% AP，仅比完全标注基线低0.9%，展现出极低标注成本下的强劲性能。
• RPS模块在COCO与VOC数据集上均优于固定阈值伪标签生成方法，mAP提升达0.2–3.2%，具体取决于设置。
• 消融实验验证，全局分类损失与标签注意力在10%标注协议下，共同使代理检测器在COCO上的mAP提升4.8%。
• 所提方法显著降低了对人工标注的依赖，同时保持高检测精度，具备在真实工业场景中应用的可行性。