[论文解读] Side-Aware Boundary Localization for More Precise Object Detection

Jiaqi Wang, Wenwei Zhang+7 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Neural Network Applications参考文献 67被引用 20

一句话总结

本文提出了一种新型目标检测方法——侧边感知边界定位（SABL），通过采用两步分桶方案，独立回归每个边界框的各条边，从而提升定位精度。在Faster R-CNN、RetinaNet和Cascade R-CNN中替换标准回归头后，mAP分别提升3.0%、1.7%和0.9%，且推理开销几乎不变。

ABSTRACT

Current object detection frameworks mainly rely on bounding box regression to localize objects. Despite the remarkable progress in recent years, the precision of bounding box regression remains unsatisfactory, hence limiting performance in object detection. We observe that precise localization requires careful placement of each side of the bounding box. However, the mainstream approach, which focuses on predicting centers and sizes, is not the most effective way to accomplish this task, especially when there exists displacements with large variance between the anchors and the targets. In this paper, we propose an alternative approach, named as Side-Aware Boundary Localization (SABL), where each side of the bounding box is respectively localized with a dedicated network branch. To tackle the difficulty of precise localization in the presence of displacements with large variance, we further propose a two-step localization scheme, which first predicts a range of movement through bucket prediction and then pinpoints the precise position within the predicted bucket. We test the proposed method on both two-stage and single-stage detection frameworks. Replacing the standard bounding box regression branch with the proposed design leads to significant improvements on Faster R-CNN, RetinaNet, and Cascade R-CNN, by 3.0%, 1.7%, and 0.9%, respectively. Code is available at https://github.com/open-mmlab/mmdetection.

研究动机与目标

• 为解决目标检测中边界框回归不精确的长期挑战，特别是在锚框与目标间位移方差较大的情况下。
• 在不显著增加计算成本或流水线复杂度的前提下，提升定位精度。
• 探索一种新设计，将边界框的每条边视为独立的定位目标，利用与边相关联的上下文信息。
• 开发一种轻量化、高效的替代方案，取代标准回归方法，从而在两阶段、单阶段及级联检测器中均提升性能。

提出的方法

• SABL引入一种侧边感知特征提取模块，针对边界框每条边的边界内容进行聚焦建模。
• 采用两步定位机制：首先为每条边的边界预测一个粗粒度的分桶（范围），然后在该分桶内精确定位边界位置。
• 分桶估计通过分类头预测真实边界位于多个预定义位移范围中的哪一个。
• 精细回归在选定分桶内预测精确偏移量，从而在高方差位移场景下提升定位精度。
• 引入重评分机制，利用分桶置信度调整分类分数，以在非极大值抑制过程中保留高质量检测结果。
• 该方法仅通过极小的网络结构调整，即可集成至Faster R-CNN、RetinaNet和Cascade R-CNN中，推理时间仅增加约10%。

实验结果

研究问题

• RQ1 与联合回归中心点与尺寸的方法相比，独立的边特定定位是否能提升目标检测的定位精度？
• RQ2 采用从粗到精的两步分桶方案，是否能降低回归方差，并在锚框与目标间位移较大的情况下提升定位性能？
• RQ3 SABL是否能有效应用于两阶段与单阶段检测框架，并在不同架构中保持一致的性能增益？
• RQ4 将分桶置信度融入分类分数评分机制，对检测性能有何影响？
• RQ5 哪些超参数设置（如分桶数量、尺度因子等）能在不同检测架构中实现最优性能？

主要发现

• 将标准边界框回归替换为SABL后，Faster R-CNN的mAP提升3.0%，RetinaNet提升1.7%，Cascade R-CNN提升0.9%。
• 在COCO test-dev上，SABL在Faster R-CNN中达到41.8% mAP，仅比基线多约10%推理时间（基线为38.8%）。
• 在RetinaNet中，SABL将mAP从38.8%提升至40.5%，且无需额外推理开销。
• 在Cascade R-CNN中，SABL将mAP从42.4%提升至43.3%，表明其在强基线模型上也具有稳定增益。
• 所有IoU分箱的IoU均得到提升，尤其在高阈值（如IoU ≥ 0.9）时提升显著，表明定位精度更高。
• Top-1、Top-2和Top-3分桶分类准确率分别达到69.3%、90.0%和95.7%，验证了分桶设计的有效性。