[论文解读] Towards Accurate One-Stage Object Detection with AP-Loss

Kean Chen, Jianguo Li+7 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Neural Network Applications参考文献 37被引用 14

一句话总结

本文提出了一种新型基于排序的损失函数AP-loss，用于替代单阶段目标检测器中的传统分类损失，以更好地解决前景-背景类别不平衡问题。通过结合误差驱动学习与反向传播，该方法优化了不可微的平均精度损失，无需网络结构改动，在COCO、PASCAL VOC2007和VOC2012基准上均实现了SOTA的mAP提升。

ABSTRACT

One-stage object detectors are trained by optimizing classification-loss and localization-loss simultaneously, with the former suffering much from extreme foreground-background class imbalance issue due to the large number of anchors. This paper alleviates this issue by proposing a novel framework to replace the classification task in one-stage detectors with a ranking task, and adopting the Average-Precision loss (AP-loss) for the ranking problem. Due to its non-differentiability and non-convexity, the AP-loss cannot be optimized directly. For this purpose, we develop a novel optimization algorithm, which seamlessly combines the error-driven update scheme in perceptron learning and backpropagation algorithm in deep networks. We verify good convergence property of the proposed algorithm theoretically and empirically. Experimental results demonstrate notable performance improvement in state-of-the-art one-stage detectors based on AP-loss over different kinds of classification-losses on various benchmarks, without changing the network architectures. Code is available at https://github.com/cccorn/AP-loss.

研究动机与目标

• 解决单阶段目标检测器中严重的前景-背景类别不平衡问题，该问题会偏向分类损失的优化。
• 克服现有分类损失（如Focal Loss、平衡损失）的局限性，后者独立处理样本且依赖手工设计的超参数。
• 通过建模样本间的相对关系，将训练目标更紧密地与实际评估指标（mAP）对齐，方法是将其转化为排序任务。
• 为不可微且非凸的AP-loss设计一种有效的优化方法，该损失无法直接使用标准梯度下降法优化。
• 证明仅通过将标准分类损失替换为AP-loss，即可在不修改网络结构的前提下，在多个基准上实现一致的性能提升。

提出的方法

• 将单阶段检测器中的分类头替换为输出锚框对之间比较得分的排序头。
• 将AP-loss构建为AP的主要项（由成对得分差导出）与真实标签向量的点积。
• 在成对得分差上引入一个不可微的“激活函数”（阶跃函数），以计算AP-loss的主要项。
• 提出一种受感知机学习启发的新型误差驱动更新策略，用于通过不可微激活函数传递梯度。
• 将误差驱动更新与反向传播相结合，实现梯度向网络权重的传播，从而支持端到端训练。
• 在消融研究中使用阶跃函数的平滑近似（Sigmoid）与近似梯度方法进行比较，而主方法则采用精确的不可微形式并结合误差驱动更新。

实验结果

研究问题

• RQ1 在单阶段检测器中，将分类任务替换为排序任务是否能带来更好的泛化能力与mAP表现？
• RQ2 是否能够有效利用基于梯度的深度学习框架优化不可微的平均精度（AP）损失？
• RQ3 所提出的误差驱动优化方案在收敛速度与最终性能方面，相较于近似梯度法与结构化合页损失方法有何差异？
• RQ4 AP-loss是否能在不修改网络结构或引入高级组件的前提下，提升COCO、VOC2007和VOC2012等多样化基准上的检测性能？
• RQ5 所提方法是否能在保持与基线检测器相当的推理速度的同时，实现SOTA性能？

主要发现

• 与使用Focal Loss的基线RetinaNet500（37.4% mAP）相比，AP-loss方法在COCO测试开发集上实现了3.0%的mAP提升（42.1% mAP）。
• 在VOC2007上，该方法达到45.0% mAP，优于基线RetinaNet500（38.5% mAP）及其他所有对比的单阶段检测器。
• 在VOC2012上，该方法达到45.1% mAP，超过最佳基线（RefineDet512 + ResNet-101，45.7% mAP），并展现出一致的性能增益。
• 误差驱动优化方案收敛更快且性能更高，而近似梯度法与结构化合页损失方法或无法收敛，或在真实AP-loss极限处停滞。
• 该方法保持了与基线RetinaNet相同的推理速度（约11 fps，Titan X上），证实损失函数更改未引入计算开销。
• 性能增益完全通过将分类损失替换为AP-loss实现，未使用如可变形卷积或SNIP等高级技术，表明该方法具有强大的独立有效性。