[论文解读] Multiple instance active learning for object detection

Tianning Yuan, Fang Wan+5 more|arXiv (Cornell University)|Apr 6, 2021

Machine Learning and Algorithms参考文献 42被引用 8

一句话总结

本文提出了一种新型主动学习框架——多实例主动目标检测（MI-AOD），通过对抗性实例分类器建模实例级不确定性，并利用多实例学习（MIL）对实例进行重加权，以抑制噪声背景提议。通过迭代优化不确定性估计并弥合实例级与图像级不确定性之间的差距，MI-AOD 实现了最先进性能，在仅使用少量标注数据的情况下，PASCAL VOC 数据集上的 mAP 提升最高达 17.09%。

ABSTRACT

Despite the substantial progress of active learning for image recognition, there still lacks an instance-level active learning method specified for object detection. In this paper, we propose Multiple Instance Active Object Detection (MI-AOD), to select the most informative images for detector training by observing instance-level uncertainty. MI-AOD defines an instance uncertainty learning module, which leverages the discrepancy of two adversarial instance classifiers trained on the labeled set to predict instance uncertainty of the unlabeled set. MI-AOD treats unlabeled images as instance bags and feature anchors in images as instances, and estimates the image uncertainty by re-weighting instances in a multiple instance learning (MIL) fashion. Iterative instance uncertainty learning and re-weighting facilitate suppressing noisy instances, toward bridging the gap between instance uncertainty and image-level uncertainty. Experiments validate that MI-AOD sets a solid baseline for instance-level active learning. On commonly used object detection datasets, MI-AOD outperforms state-of-the-art methods with significant margins, particularly when the labeled sets are small. Code is available at https://github.com/yuantn/MI-AOD.

研究动机与目标

• 为解决当前缺乏专为目标检测设计的实例级主动学习方法的问题。
• 减少噪声背景实例对图像级不确定性估计的干扰。
• 弥合实例级不确定性与图像级不确定性之间的差距，实现更准确的信息性图像选择。
• 开发一种鲁棒的主动学习框架，以最小化标注数据量提升检测器性能。
• 建立一种基于不确定性驱动图像选择的新 SOTA 基线，用于主动目标检测。

提出的方法

• 提出一种实例不确定性学习（IUL）模块，利用两个对抗性实例分类器估计未标注目标提议的不确定性。
• 采用多实例学习（MIL）模块，将每张图像视为一个实例袋，并根据外观一致性和分类置信度对实例进行重加权。
• 联合优化实例不确定性与图像级分类损失，使实例级预测与图像级标签对齐。
• 通过迭代优化不确定性估计与重加权机制，抑制噪声实例并突出信息量高的实例。
• 利用两个实例分类器之间的差异最大化，增强不确定性估计，同时减少标注数据与未标注数据之间的域偏移。
• 采用特征金字塔结构与标准检测器（如 RetinaNet）作为主干网络，不确定性与重加权模块以即插即用方式集成。

实验结果

研究问题

• RQ1 实例级不确定性估计能否有效用于主动目标检测中的图像选择？
• RQ2 如何过滤噪声背景实例以提升图像级不确定性估计的准确性？
• RQ3 基于 MIL 的重加权在多大程度上可弥合实例级与图像级不确定性之间的差距？
• RQ4 与简单平均实例不确定性相比，迭代式不确定性学习与重加权是否能更优地选择信息量高的图像？
• RQ5 所提方法是否能在显著减少标注图像数量的情况下实现最先进性能？

主要发现

• 在仅使用 5% 标注数据的情况下，MI-AOD 在前三个主动学习周期内，PASCAL VOC 数据集上的 mAP 相较于最先进方法最高提升 17.09%。
• 在最终周期使用 20% 标注数据时，MI-AOD 达到 68.48% 的 mAP，较 IUL 提升 1.28%，较随机选择提升 1.39%。
• 当在 100% 数据上训练时，实例不确定性重加权（IUR）模块使检测器性能提升 1.09%，证明其在过滤噪声实例方面的有效性。
• 当超参数调优至（λ=0.5, k=10k）时，MI-AOD 在所有设置下均取得最佳性能，验证了该方法的鲁棒性。
• 可视化结果表明，IUR 有效抑制了背景干扰并突出显示了真实正样本，提升了不确定性定位的准确性。
• 统计分析证实，MI-AOD 每轮选择的真正例实例数量显著多于基线方法，表明其能更有效地激活信息量高的目标。