[论文解读] OMNIA Faster R-CNN: Detection in the wild through dataset merging and soft distillation

Alexandre Ramé, Emilien Garreau+2 more|arXiv (Cornell University)|Dec 6, 2018

Advanced Neural Network Applications参考文献 65被引用 10

一句话总结

本文提出 OMNIA Faster R-CNN，一种通过自训练和软蒸馏合并具有不相交类别的多个数据集以训练鲁棒目标检测器的方法，无需额外标注。该方法在域自适应任务中达到最先进性能（Cityscapes 上 mAP 为 44.9），并通过融合 COCO 与 Modanet 数据集，将时尚检测 mAP 从 45.5% 提升至 57.4%。

ABSTRACT

Object detectors tend to perform poorly in new or open domains, and require exhaustive yet costly annotations from fully labeled datasets. We aim at benefiting from several datasets with different categories but without additional labelling, not only to increase the number of categories detected, but also to take advantage from transfer learning and to enhance domain independence. Our dataset merging procedure starts with training several initial Faster R-CNN on the different datasets while considering the complementary datasets' images for domain adaptation. Similarly to self-training methods, the predictions of these initial detectors mitigate the missing annotations on the complementary datasets. The final OMNIA Faster R-CNN is trained with all categories on the union of the datasets enriched by predictions. The joint training handles unsafe targets with a new classification loss called SoftSig in a softly supervised way. Experimental results show that in the case of fashion detection for images in the wild, merging Modanet with COCO increases the final performance from 45.5% to 57.4% in mAP. Applying our soft distillation to the task of detection with domain shift between GTA and Cityscapes enables to beat the state-of-the-art by 5.3 points. Our methodology could unlock object detection for real-world applications without immense datasets.

研究动机与目标

• 解决在开放世界或开放域设置下训练鲁棒目标检测器的挑战，其中数据集类别不重叠且标注有限。
• 通过利用初始检测器的预测作为弱监督信号，填补数据集间缺失的标注，克服人工实例标注的高昂成本。
• 通过在融合后的数据集上联合训练（其中包含模型预测的边界框），提升域泛化能力和检测器鲁棒性，尤其在存在域偏移的情况下。
• 提出一种新型软分类损失（SoftSig），以处理预测中的不确定性，区分高置信度（安全）和低置信度（不安全）检测。
• 实现在真实应用场景（如时尚识别和自动驾驶）中检测器的实际部署，而无需进行详尽的重新标注或完整领域特定数据集。

提出的方法

• 在每个源数据集（如 COCO、Modanet）上独立训练初始 Faster R-CNN 检测器，同时使用互补数据集的图像进行域自适应。
• 将每个初始检测器的预测结果作为伪标签，用于丰富互补数据集，填补原本不存在的类别的标注缺失。
• 在包含所有真实标注和预测标注的并集数据集上，使用一种新型分类损失 SoftSig 训练最终的 OMNIA Faster R-CNN 模型。
• SoftSig 损失将高置信度预测视为可靠目标，低置信度预测视为不确定，从而实现软监督，降低不可靠伪标签带来的噪声。
• 在训练过程中应用软蒸馏，将初始检测器的知识迁移至最终模型，提升泛化能力与对域偏移的鲁棒性。
• 采用迭代自训练：在融合数据集上使用更新后的预测结果重新训练检测器，逐步提升性能，无需额外标注。

实验结果

研究问题

• RQ1 能否在无需额外人工标注的情况下，有效训练多个类别不重叠的数据集上的目标检测器？
• RQ2 如何利用模型预测作为弱监督，以缓解数据集融合过程中的标注缺失问题？
• RQ3 在处理不确定或低置信度预测时，软分类损失（SoftSig）在多大程度上能提升检测器性能？
• RQ4 所提方法能否在域自适应任务中达到最先进性能，特别是在从合成数据到真实世界数据的迁移中？
• RQ5 融合具有互补类别的数据集是否能提升检测器的泛化能力与背景理解能力，特别是在开放集检测场景中？

主要发现

• 通过 OMNIA Faster R-CNN 融合 COCO 与 Modanet，使 OpenImages 上时尚服饰检测的 mAP 从 45.5% 提升至 57.4%，显著提升性能。
• 该方法在 SIM100k 到 Cityscapes 的域自适应基准上达到新的最先进水平，汽车检测 mAP 达到 44.9，较之前最先进方法高出 5.3 个百分点。
• SoftSig 损失优于硬蒸馏和基线方法，在 Cityscapes 上实现 44.9 mAP，在 KITTI 上实现 65.4 mAP 的汽车检测性能，表明鲁棒性显著提升。
• 采用 OMNIA SoftSig 的迭代自训练获得最佳性能（42.2 mAP），接近全标注情况下的 Oracle 性能（59.6 mAP）。
• 检测器在新域上泛化良好：在 KITTI 上，OMNIA 模型对汽车的 mAP 达到 69.9，接近 Oracle 的 72.1 mAP，表现出强大的域不变性。
• 该方法通过改善背景理解，降低了误报率：对辅助类别（如卡车）的检测提升，有助于主目标（如汽车）的检测性能。