[论文解读] Tiny-DSOD: Lightweight Object Detection for Resource-Restricted Usages

Yuxi Li, Jiuwei Li+2 more|arXiv (Cornell University)|Jul 29, 2018

Advanced Neural Network Applications参考文献 27被引用 80

一句话总结

Tiny-DSOD 引入深度卷积密集块和深度 FPN，以极小的参数量和 FLOPs 实现高 mAP，在 VOC、KITTI 和 COCO 上超过其他超高效检测器。

ABSTRACT

Object detection has made great progress in the past few years along with the development of deep learning. However, most current object detection methods are resource hungry, which hinders their wide deployment to many resource restricted usages such as usages on always-on devices, battery-powered low-end devices, etc. This paper considers the resource and accuracy trade-off for resource-restricted usages during designing the whole object detection framework. Based on the deeply supervised object detection (DSOD) framework, we propose Tiny-DSOD dedicating to resource-restricted usages. Tiny-DSOD introduces two innovative and ultra-efficient architecture blocks: depthwise dense block (DDB) based backbone and depthwise feature-pyramid-network (D-FPN) based front-end. We conduct extensive experiments on three famous benchmarks (PASCAL VOC 2007, KITTI, and COCO), and compare Tiny-DSOD to the state-of-the-art ultra-efficient object detection solutions such as Tiny-YOLO, MobileNet-SSD (v1 & v2), SqueezeDet, Pelee, etc. Results show that Tiny-DSOD outperforms these solutions in all the three metrics (parameter-size, FLOPs, accuracy) in each comparison. For instance, Tiny-DSOD achieves 72.1% mAP with only 0.95M parameters and 1.06B FLOPs, which is by far the state-of-the-arts result with such a low resource requirement.

研究动机与目标

• 设计一种为资源受限场景优化的轻量级对象检测器（低内存和计算）。
• 在尽量减少参数和 FLOPs 的同时维持或提高检测准确率。
• 利用紧凑的结构块实现从头训练和高效推理。
• 通过一个轻量级的特征金字塔探索前端语义融合。
• 在多个数据集上基准对比最先进的超高效检测器。

提出的方法

• 提出 depthwise dense blocks (DDB) 以替代 DenseNet 中的密集块；两个变体 DDB-a 和 DDB-b；在骨干网络中选择 DDB-b 因为更高效且精确。
• 引入 depthwise FPN (D-FPN) 前端，通过深度卷积和双线性插值提升采样路径来在尺度间融合语义信息。
• 在 SSD 框架上构建 Tiny-DSOD，采用 DSOD 启发的深度监督以实现从头训练。
• 从 VOC07+12 从头训练，并在 VOC2007、KITTI、COCO 上进行评估，使用数据增强和在线难样本挖掘。
• 与 Tiny-YOLO、SqueezeDet、MobileNet-SSD、Pelee 和 DSOD 基线在 mAP、参数和 FLOPs 方面进行对比。

实验结果

研究问题

• RQ1 基于深度卷积密集块的骨干网络结合深度 FPN 前端，是否能在目标检测中实现较好的精度/资源权衡？
• RQ2 在类似参数预算下，DDB-b 相对于 DDB-a 对精度和计算的影响如何？
• RQ3 轻量级前端（D-FPN）在跨基准测试中是否以最小的 FLOPs/参数增加带来显著的精度提升？
• RQ4 在 VOC07、KITTI 和 COCO 上，Tiny-DSOD 在 mAP、参数规模和 FLOPs 方面对其他超高效检测器的表现如何？

主要发现

• Tiny-DSOD 在 VOC2007 上达到 72.1% mAP，参数 0.95M，FLOPs 1.06B。
• DDB-b 骨干在相同资源预算下优于 DDB-a（例如 0.90M 参数：DDB-b 达到 70.2% mAP，而 DDB-a 为 63.1%）。
• D-FPN 额外增加约 0.03B FLOPs 和 0.05M 参数，但在 VOC2007 上带来约 1.9% mAP 的提升。
• Tiny-DSOD 在 TitanX 的 300x300 输入下以 105 FPS（9.5 ms）运行，速度超过若干轻量检测器，同时使用的参数更少。
• 在 KITTI 上，Tiny-DSOD 以 0.85M 参数和 4.1B FLOPs 达到 77.0% mAP，超过若干紧凑型检测器。
• 在 COCO test-dev 上，Tiny-DSOD 达到 23.2 AP@IoU 0.5:0.95，FLOPs 1.12B，参数 1.15M，在轻量模型中超过 MobileNet-SSD 和 PeleeNet，甚至接近某些全检测器。