[论文解读] NETNet: Neighbor Erasing and Transferring Network for Better Single Shot Object Detection

Yazhao Li, Yanwei Pang+3 more|arXiv (Cornell University)|Jan 18, 2020

Advanced Neural Network Applications参考文献 24被引用 8

一句话总结

NETNet 提出了一种邻居擦除与迁移（NET）机制，通过特征重配置生成尺度感知特征，以改进单阶段目标检测。它使用邻居擦除模块（NEM）抑制浅层中的大物体特征，同时利用邻居迁移模块（NTM）将这些特征迁移到深层，显著减少了小物体的漏检和大物体的部分误检。NETNet 在 MS COCO 上实现了 27 FPS 时 38.5% AP 和 55 FPS 时 32.0% AP 的性能，展现出优越的实时精度权衡。

ABSTRACT

Due to the advantages of real-time detection and improved performance, single-shot detectors have gained great attention recently. To solve the complex scale variations, single-shot detectors make scale-aware predictions based on multiple pyramid layers. However, the features in the pyramid are not scale-aware enough, which limits the detection performance. Two common problems in single-shot detectors caused by object scale variations can be observed: (1) small objects are easily missed; (2) the salient part of a large object is sometimes detected as an object. With this observation, we propose a new Neighbor Erasing and Transferring (NET) mechanism to reconfigure the pyramid features and explore scale-aware features. In NET, a Neighbor Erasing Module (NEM) is designed to erase the salient features of large objects and emphasize the features of small objects in shallow layers. A Neighbor Transferring Module (NTM) is introduced to transfer the erased features and highlight large objects in deep layers. With this mechanism, a single-shot network called NETNet is constructed for scale-aware object detection. In addition, we propose to aggregate nearest neighboring pyramid features to enhance our NET. NETNet achieves 38.5% AP at a speed of 27 FPS and 32.0% AP at a speed of 55 FPS on MS COCO dataset. As a result, NETNet achieves a better trade-off for real-time and accurate object detection.

研究动机与目标

• 解决单阶段目标检测中尺度变化的长期挑战，特别是小物体的漏检和大物体的部分误检问题。
• 克服特征金字塔表示中的尺度混淆问题，即大物体特征在浅层占主导，且大物体的显著部分会误导检测结果。
• 设计一种机制，通过在特征金字塔层之间选择性擦除和迁移特征，生成尺度感知特征。
• 在单阶段检测器中实现推理速度与检测精度之间的更好平衡。

提出的方法

• 提出邻居擦除与迁移（NET）机制，通过在特征金字塔层之间重配置特征，实现尺度感知检测。
• 设计邻居擦除模块（NEM），通过反向门控擦除过程，在浅层抑制大物体的显著特征。
• 引入邻居迁移模块（NTM），将擦除的大物体特征迁移到深层，以增强其表征能力。
• 将 NET 与 SSD 集成，构建 NETNet，一种改进的单阶段检测器，提升特征聚合与尺度感知能力。
• 聚合最近邻的特征金字塔特征，进一步增强特征表征与检测性能。

实验结果

研究问题

• RQ1 在特征金字塔层之间进行特征重配置是否能减少小物体的漏检？
• RQ2 抑制大物体显著部分的特征是否能减少部分误检？
• RQ3 将浅层擦除的特征迁移到深层是否能提升大物体检测的精度？
• RQ4 统一机制是否能同时提升单阶段检测器中小物体检测与大物体定位的性能？

主要发现

• NETNet 在 MS COCO 上实现了 27 FPS 时 38.5% AP 和 55 FPS 时 32.0% AP 的性能，展现出优异的实时精度权衡。
• 与基线 SSD 相比，该方法在 COCO minival 数据集上减少了约 20,000 个误检样本。
• 部分误检错误显著减少，尤其在更高阈值条件下，误差率分析结果表明了这一点。
• 小物体的漏检率从 SSD 的 60.8% 下降至 NETNet 的 39.8%，表明小物体检测能力得到显著提升。
• 可视化结果证实，NETNet 有效缓解了漏检和部分误检问题。