[论文解读] Zigzag Learning for Weakly Supervised Object Detection

Xiaopeng Zhang, Jiashi Feng+2 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Neural Network Applications被引用 25

一句话总结

本文提出了一种新型弱监督目标检测框架——Zigzag Learning Detection Network (ZLDN)，该框架利用平均能量累积得分（mEAS）对图像按从易到难的顺序进行渐进式训练，同时通过特征掩码技术防止对初始假阳性样本的过拟合。该方法在PASCAL VOC 2007上取得了47.6%的mAP，显著优于先前的最先进方法。

ABSTRACT

This paper addresses weakly supervised object detection with only image-level supervision at training stage. Previous approaches train detection models with entire images all at once, making the models prone to being trapped in sub-optimums due to the introduced false positive examples. Unlike them, we propose a zigzag learning strategy to simultaneously discover reliable object instances and prevent the model from overfitting initial seeds. Towards this goal, we first develop a criterion named mean Energy Accumulation Scores (mEAS) to automatically measure and rank localization difficulty of an image containing the target object, and accordingly learn the detector progressively by feeding examples with increasing difficulty. In this way, the model can be well prepared by training on easy examples for learning from more difficult ones and thus gain a stronger detection ability more efficiently. Furthermore, we introduce a novel masking regularization strategy over the high level convolutional feature maps to avoid overfitting initial samples. These two modules formulate a zigzag learning process, where progressive learning endeavors to discover reliable object instances, and masking regularization increases the difficulty of finding object instances properly. We achieve 47.6% mAP on PASCAL VOC 2007, surpassing the state-of-the-arts by a large margin.

研究动机与目标

• 为解决仅使用图像级别标签时弱监督目标检测面临的挑战，该挑战导致定位性能差且因假阳性伪标注而产生过拟合。
• 克服弱监督学习中的鸡肋问题，即准确的检测模型需要可靠的物体实例，但可靠的实例又无法在没有准确模型的情况下被找到。
• 通过从较易样本开始，按定位难度排序逐步训练模型，提升模型的泛化能力和检测精度。
• 通过在高层特征图上引入掩码正则化策略，减少对初始假阳性样本的过拟合。

提出的方法

• 提出平均能量累积得分（mEAS）作为自动测量并排序包含目标物体图像定位难度的标准。
• 通过按mEAS递增顺序输入图像，从较易样本开始，逐步训练检测器，以建立鲁棒的初始表征。
• 引入一种掩码正则化策略，在训练过程中随机擦除最后一层卷积特征图中的高响应区域。
• 该掩码策略迫使网络关注更具整合性、判别性较低的物体部分，并通过模拟遮挡样本提升模型鲁棒性。
• 将渐进式学习与掩码正则化结合为一种Zigzag学习过程，使每个组件能够抵消对方的局限性。
• 在反向传播过程中应用掩码操作，实现端到端训练，以增强特征学习与泛化能力。

实验结果

研究问题

• RQ1 基于自动测量的定位难度的渐进式训练策略是否能提升弱监督目标检测的性能？
• RQ2 在从易到难的图像序列上进行训练，如何影响弱监督设置下可靠物体实例的发现？
• RQ3 在特征图中掩码高响应区域是否能减少对初始假阳性样本的过拟合并提升模型泛化能力？
• RQ4 渐进式学习与特征掩码的结合是否能带来比现有方法更好的检测精度与鲁棒性？

主要发现

• 所提出的ZLDN模型在PASCAL VOC 2007上取得了47.6%的mAP，显著优于此前最先进方法的41.7%。
• 在CorLoc基准上，ZLDN在VOC 2007上实现了61.2%的定位准确率，比之前最佳方法高出0.6个百分点。
• 在PASCAL VOC 2012上，该模型实现了42.9%的mAP，比此前SOTA结果的38.3%高出4.6个百分点。
• 该方法在动物和车辆类别上表现强劲，平均精度超过60%，但在家具类别上表现较弱，主要因背景杂乱所致。
• 错误分析显示，约30%的错误源于定位不准确，主要表现为检测物体部件或错误合并同一类别的多个实例。
• 消融实验表明，mEAS驱动的渐进式学习与掩码正则化均不可或缺，当任一组件被移除时性能显著下降。