[论文解读] TinyDet: Accurate Small Object Detection in Lightweight Generic Detectors

Shaoyu Chen, Tianheng Cheng+5 more|arXiv (Cornell University)|Apr 7, 2023

Advanced Neural Network Applications被引用 11

一句话总结

TinyDet 提出了一种两阶段、分辨率高、轻量级检测器，使用稀疏连接卷积以在子1 GFLOP预算内实现对小目标的高精度检测，在 COCO test-dev2017 上的轻量级检测器中达到最先进的结果。

ABSTRACT

Small object detection requires the detection head to scan a large number of positions on image feature maps, which is extremely hard for computation- and energy-efficient lightweight generic detectors. To accurately detect small objects with limited computation, we propose a two-stage lightweight detection framework with extremely low computation complexity, termed as TinyDet. It enables high-resolution feature maps for dense anchoring to better cover small objects, proposes a sparsely-connected convolution for computation reduction, enhances the early stage features in the backbone, and addresses the feature misalignment problem for accurate small object detection. On the COCO benchmark, our TinyDet-M achieves 30.3 AP and 13.5 AP^s with only 991 MFLOPs, which is the first detector that has an AP over 30 with less than 1 GFLOPs; besides, TinyDet-S and TinyDet-L achieve promising performance under different computation limitation.

研究动机与目标

• 在紧凑计算预算下为轻量通用检测器的准确小目标检测提供动机。
• 开发一个具有高分辨率检测图的两阶段检测器（TinyDet），以更好覆盖小目标。
• 引入 TinyFPN 和 TinyRPN，采用稀疏连接卷积以在高分辨率下保持效率。
• 提升早期骨干阶段以保留对小目标至关重要的细节并解决特征错位。

提出的方法

• 使用高分辨率检测特征图（在 stride-4 级别为 80x80）来密集锚定小目标。
• 在 TinyFPN 和 TinyRPN 中引入稀疏连接卷积（SCConv）以降低计算量。
• 在骨干网络的早期阶段增强更详细的信息以保留小目标特征。
• 在步幅卷积前应用平均池化以消除跨层的特征错位。
• 采用两阶段检测框架，含 RPN 和 R-CNN 头以及位置敏感的 RoI Align。
• 在 SCConv 的分组配置中进行微调，以在准确性和 FLOPs 之间取得平衡。

实验结果

研究问题

• RQ1 如何在不牺牲准确性的前提下，在轻量级检测器中高效检测小目标？
• RQ2 在带有稀疏卷积的高分辨率检测图中，是否仍能在保持低 FLOPs 的同时使用轻量架构？
• RQ3 早期骨干增强和特征对齐修正对轻量检测器的小目标 AP 有何影响？

主要发现

Detector	FLOPs	AP	AP50	AP75	APs	APm	APl	Input
ThunderNet-SNet146	470M	23.6	40.2	24.5	-	-	-	320^2
ThunderNet-SNet146 (reimpl.)	499M	23.8	40.5	24.7	4.6	23.0	42.9	320^2
TinyDet-S	495M	26.0	45.8	26.5	9.6	26.8	39.5	320^2
MobileNetV2-SSDLite	800M	22.1	-	-	-	-	-	320^2
TinyDet-M	991M	30.3	51.2	31.8	13.5	30.9	43.9	320^2
YOLOv2	17.5G	21.6	44.0	19.2	5.0	22.4	35.5	416^2
TinyDet-L	2.4G	35.5	56.8	38.3	18.3	37.5	48.4	512^2

• TinyDet-M 在 COCO test-dev2017 上以 991 MFLOPs 获得 30.3 AP。
• TinyDet-M 在 S: 13.5 APs、30.9 APm、43.9 APl 的条件下达到 AP50 51.2 和 AP75 31.8。
• TinyDet-S 在 495 MFLOPs 下达到 26.0 AP，TinyDet-L 在 2.4 GFLOPs 下达到 35.5 AP。
• 相较于先前的轻量检测器，TinyDet 变体在小目标 AP（APs）方面实现了显著提升（例如比 ThunderNet 在小目标上提升超过 2 倍的增益）。
• 消融研究显示骨干增强和特征对齐修正带来有意义的 AP 增益，特别是对小目标。
• TinyFPN/TinyRPN 中的 SCConv 在降低 FLOPs 的同时对 AP 的影响很小。