[论文解读] Plug and Play Active Learning for Object Detection

Chenhongyi Yang, Lichao Huang+1 more|arXiv (Cornell University)|Nov 21, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出即插即用主动学习（PPAL），一种用于目标检测的两阶段主动学习框架，通过结合难度校准的不确定性采样与类别条件匹配相似度，提升标注效率。PPAL 在 MS-COCO 和 Pascal VOC 上均优于先前的最先进方法，且无需修改模型架构或训练流程，适用于多种检测器架构。

ABSTRACT

Annotating datasets for object detection is an expensive and time-consuming endeavor. To minimize this burden, active learning (AL) techniques are employed to select the most informative samples for annotation within a constrained "annotation budget". Traditional AL strategies typically rely on model uncertainty or sample diversity for query sampling, while more advanced methods have focused on developing AL-specific object detector architectures to enhance performance. However, these specialized approaches are not readily adaptable to different object detectors due to the significant engineering effort required for integration. To overcome this challenge, we introduce Plug and Play Active Learning (PPAL), a simple and effective AL strategy for object detection. PPAL is a two-stage method comprising uncertainty-based and diversity-based sampling phases. In the first stage, our Difficulty Calibrated Uncertainty Sampling leverage a category-wise difficulty coefficient that combines both classification and localisation difficulties to re-weight instance uncertainties, from which we sample a candidate pool for the subsequent diversity-based sampling. In the second stage, we propose Category Conditioned Matching Similarity to better compute the similarities of multi-instance images as ensembles of their instance similarities, which is used by the k-Means++ algorithm to sample the final AL queries. PPAL makes no change to model architectures or detector training pipelines; hence it can be easily generalized to different object detectors. We benchmark PPAL on the MS-COCO and Pascal VOC datasets using different detector architectures and show that our method outperforms prior work by a large margin. Code is available at https://github.com/ChenhongyiYang/PPAL

研究动机与目标

• 通过最小化所需标注数量，解决目标检测中高标注成本的挑战。
• 克服现有基于不确定性的主动学习方法与基于多样性的主动学习方法在目标检测中的局限性，原因在于双重任务（定位与分类）以及多实例图像的复杂性。
• 设计一种即插即用的解决方案，无需修改模型架构或训练流程，即可与现有目标检测器集成。
• 通过联合建模分类与定位难度，并实现对多实例图像的细粒度相似度度量，提升主动学习性能。

提出的方法

• 提出难度校准的不确定性采样（DCUS）：利用类别相关的难度系数重新加权实例不确定性，以同时考虑分类与定位难度。
• 提出类别条件匹配相似度（CCMS）：通过将一张图像中的每个目标与另一张图像中最相似的目标进行匹配，计算图像级相似度，并对实例级相似度进行集成。
• 使用改进的 k-means++ 算法，基于 CCMS 从高不确定性候选池中选择多样化且具有代表性的图像。
• 将主动学习过程解耦为两个阶段：(1) 基于不确定性的候选池选择，(2) 从候选池中基于多样性的查询选择。
• 默认使用熵作为不确定性度量，但验证其在后验概率与基于间隔的不确定性度量下的泛化能力。
• 通过避免对模型结构或训练流程的任何修改，确保与任意检测器架构和主干网络的兼容性。

实验结果

研究问题

• RQ1 当同时存在定位与分类不确定性时，基于不确定性的主动学习能否在目标检测中有效适配？
• RQ2 在基于多样性的主动学习中，如何改进多实例图像的相似度度量？
• RQ3 能否设计一种即插即用的主动学习框架，适用于不同目标检测器而无需修改其架构或训练流程？
• RQ4 联合建模分类与定位难度是否能提升目标检测中的主动学习性能？
• RQ5 所提出的 CCMS 相似度度量与全局特征相似度相比，在捕捉语义与实例级多样性方面表现如何？

主要发现

• PPAL 在 MS-COCO 和 Pascal VOC 上均达到最先进性能，优于多种检测器架构与主干网络的先前主动学习方法。
• 在 Pascal VOC 上使用 RetinaNet 与 ResNet-101 时，PPAL 在 20% 标注预算下达到 75.0% mAP，优于随机采样方法的 72.3%。
• 使用 MobileNetV2 时，PPAL 在 20% 预算下达到 50.7% mAP，显著优于随机采样（44.7%），并在轻量化模型上表现出色。
• 在 Swin-Tiny 主干网络上，PPAL 在 20% 预算下达到 76.2% mAP，表明其在不同主干类型（包括 Transformer）上具有强大泛化能力。
• CCMS 与 COCO mini-val 上的 Jaccard 相似度呈现强正相关性（r ≈ 0.7），表明其比全局相似度更能捕捉语义相似性。
• 可视化结果表明，CCMS 能够捕捉细粒度细节，避免偏向主导物体，而全局相似度常忽略少数类实例。