[论文解读] SaccadeNet: A Fast and Accurate Object Detector

Shiyi Lan, Zhou Ren+3 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Neural Network Applications参考文献 32被引用 4

一句话总结

SaccadeNet 是一种受人类扫视眼动启发的快速且准确的物体检测器，通过顺序关注物体中心和角点关键点实现从粗到精的定位。它在 MS COCO 上以 28 FPS 达到 40.4% mAP，以 118 FPS 达到 30.5% mAP，优于所有现有的实时检测器，通过联合预测中心和角点特征而无需分组开销。

ABSTRACT

Object detection is an essential step towards holistic scene understanding. Most existing object detection algorithms attend to certain object areas once and then predict the object locations. However, neuroscientists have revealed that humans do not look at the scene in fixed steadiness. Instead, human eyes move around, locating informative parts to understand the object location. This active perceiving movement process is called extit{saccade}. %In this paper, Inspired by such mechanism, we propose a fast and accurate object detector called extit{SaccadeNet}. It contains four main modules, the \cenam, the \coram, the \atm, and the \aggatt, which allows it to attend to different informative object keypoints, and predict object locations from coarse to fine. The \coram~is used only during training to extract more informative corner features which brings free-lunch performance boost. On the MS COCO dataset, we achieve the performance of 40.4\% mAP at 28 FPS and 30.5\% mAP at 118 FPS. Among all the real-time object detectors, %that can run faster than 25 FPS, our SaccadeNet achieves the best detection performance, which demonstrates the effectiveness of the proposed detection mechanism.

研究动机与目标

• 开发一种模仿人类视觉扫视的实时物体检测器，通过顺序关注有信息量的物体关键点。
• 通过联合预测中心和角点特征，在不牺牲推理速度的前提下提升检测精度。
• 通过同时预测中心和角点，消除关键点检测器中耗时的分组算法需求。
• 研究来自中心和角点关键点的特征融合对定位和分类性能的影响。
• 证明在实时设置中，对关键点层次结构的主动多阶段注意力可提升检测精度。

提出的方法

• 提出四模块架构：中心注意模块、角点注意模块、注意传递模块和聚合注意模块。
• 使用中心注意模块预测物体中心和类别，随后通过注意传递模块预测粗略的角点位置。
• 在训练期间使用角点注意模块以增强边界特征学习，提升定位精度且不增加推理成本。
• 应用聚合注意模块融合来自中心和角点关键点的特征，优化边界框预测。
• 通过联合回归中心和角点位置避免分组步骤，保持高推理速度。
• 使用双线性插值计算对角线和中边点，以改善关键点监督。

实验结果

研究问题

• RQ1 一种模仿人类扫视眼动的检测器是否能同时提升物体检测的速度与精度？
• RQ2 联合预测中心和角点关键点是否能消除对后处理分组的需求，同时保持高性能？
• RQ3 来自中心和角点关键点的特征融合在提升定位精度方面的有效性如何？
• RQ4 通过聚合注意模块进行边界框的迭代优化是否在牺牲速度的前提下提升检测性能？
• RQ5 角点特征是否能在不降低分类性能的前提下提升定位精度？

主要发现

• SaccadeNet 在 MS COCO 上分别使用 DLA-34 和 ResNet-18 主干网络，以 28 FPS 达到 40.4% mAP，以 118 FPS 达到 30.5% mAP，优于所有先前的实时检测器。
• 聚合注意模块显著提升了定位性能，尤其在高 IoU 阈值下（例如，当同时融合中心和角点特征时，mAP@90 从 18.96% 提升至 21.07%）。
• 仅使用角点特征相比仅使用中心特征，使 mAP@90 提升 1.35 个百分点，证明了边界感知特征的重要性。
• 通过多个聚合注意模块进行迭代优化，使 mAP@90 从 18.96% 提升至 21.32%，但导致速度下降，因此为兼顾效率采用单个模块。
• 添加用于分类优化的聚合注意-分类模块（Aggregation-Attn-Cls）会降低性能（mAP@50 从 71.02% 降至 52.26%），表明角点特征对分类贡献甚微。
• 角点注意模块在训练期间提供‘免费’的性能提升，增强定位精度且不增加推理时间。