[论文解读] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection

JongMok Kim, Jooyoung Jang+4 more|arXiv (Cornell University)|Nov 21, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种名为 Mix/UnMix (MUM) 的新型数据增强方法，用于半监督目标检测，通过混合图像块并解混特征块，实现在不损失边界框定位信息的前提下进行插值正则化。MUM 在 MS-COCO 和 PASCAL VOC 基准上一致优于基线方法，显著提升 mAP，且计算开销极低，达到当前最先进水平。

ABSTRACT

Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the generated supervisory signal from the teacher. Data augmentation strategy plays a significant role in the SSL framework since it is hard to create a weak-strong augmented input pair without losing label information. Especially when extending SSL to semi-supervised object detection (SSOD), many strong augmentation methodologies related to image geometry and interpolation-regularization are hard to utilize since they possibly hurt the location information of the bounding box in the object detection task. To address this, we introduce a simple yet effective data augmentation method, Mix/UnMix (MUM), which unmixes feature tiles for the mixed image tiles for the SSOD framework. Our proposed method makes mixed input image tiles and reconstructs them in the feature space. Thus, MUM can enjoy the interpolation-regularization effect from non-interpolated pseudo-labels and successfully generate a meaningful weak-strong pair. Furthermore, MUM can be easily equipped on top of various SSOD methods. Extensive experiments on MS-COCO and PASCAL VOC datasets demonstrate the superiority of MUM by consistently improving the mAP performance over the baseline in all the tested SSOD benchmark protocols.

研究动机与目标

• 为解决在半监督目标检测中应用插值正则化时标准方法扭曲边界框标注的问题。
• 设计一种数据增强策略，在保持语义与空间信息的同时实现强增强，适用于目标检测任务。
• 开发一种即插即用的方法，兼容现有的半监督目标检测中的教师-学生框架。
• 通过图像切块与特征解混生成自然遮挡，提升模型泛化能力与鲁棒性。
• 在不同主干网络及半监督与监督学习设置下验证 MUM 的有效性。

提出的方法

• MUM 将一批图像中的图像块混合成单张输入图像，为学生网络提供强增强输入。
• 通过特征空间中的解混操作，将学生主干网络的特征图重新组装回其原始空间位置，实现特征解掩码。
• 解掩码后的特征图被送入检测头，使学生网络能够从混合但空间一致的特征中学习。
• 教师网络处理弱增强输入，生成高置信度伪标签以用于学生网络训练。
• 学生网络通过联合使用标注数据的监督损失与未标注数据的一致性损失（基于伪标签）进行训练。
• 教师网络通过学生权重的指数移动平均（EMA）进行更新，确保伪标签生成的稳定性。

实验结果

研究问题

• RQ1 是否可以在不降低定位性能的前提下，有效将插值正则化应用于半监督目标检测？
• RQ2 混合图像块与解混特征块对半监督目标检测中模型泛化能力与 mAP 的影响如何？
• RQ3 MUM 在不同数据集、主干网络架构与训练协议下的性能提升程度如何？
• RQ4 与 Cutout 等现有增强方法相比，MUM 在保留语义信息与提升检测精度方面表现如何？
• RQ5 在半监督目标检测框架的整体性能提升中，MUM 的贡献与教师网络质量相比有多大？

主要发现

• 在所有标准 SSOD 基准协议下，MUM 在 MS-COCO 与 PASCAL VOC 数据集上均达到最先进性能，COCO-Standard 1% 设置下 mAP 达到 16.52。
• 在 COCO-Standard 1% 协议下，MUM 将 mAP 从基线模型 Unbiased Teacher 的 20.70 提升至 21.81，绝对提升 1.11。
• MUM 在小目标上表现尤为突出，AP_S 从 8.93 提升至 9.86，表明对小尺度实例的定位能力更强。
• 在监督 ImageNet 分类任务中，MUM 达到 38.12 mAP，优于 Cutout 的 36.87 mAP，证明其作为正则化方法具备良好泛化能力。
• Grad-CAM 可视化结果表明，MUM 促使模型注意力集中在局部物体区域，从而提升对小目标与细粒度物体的检测能力。
• 消融实验表明，即使在教师网络性能较弱的情况下，MUM 仍能持续提升性能，证明其作为数据增强策略的鲁棒性与有效性。