[论文解读] YOLO Nano: a Highly Compact You Only Look Once Convolutional Neural Network for Object Detection

Alexander Wong, Mahmoud Famuori+4 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Neural Network Applications被引用 4

一句话总结

YOLO Nano 是一种高度紧凑的人机协同目标检测网络，专为边缘和移动设备部署而设计，在仅 4.0MB 模型大小和 4.57B FLOPs 的情况下，于 VOC 2007 上实现了 69.1% 的 mAP，其精度优于 Tiny YOLOv2 和 Tiny YOLOv3，同时模型大小和计算量分别减少了 8 倍以上和 34% 以上。

ABSTRACT

Object detection remains an active area of research in the field of computer vision, and considerable advances and successes has been achieved in this area through the design of deep convolutional neural networks for tackling object detection. Despite these successes, one of the biggest challenges to widespread deployment of such object detection networks on edge and mobile scenarios is the high computational and memory requirements. As such, there has been growing research interest in the design of efficient deep neural network architectures catered for edge and mobile usage. In this study, we introduce YOLO Nano, a highly compact deep convolutional neural network for the task of object detection. A human-machine collaborative design strategy is leveraged to create YOLO Nano, where principled network design prototyping, based on design principles from the YOLO family of single-shot object detection network architectures, is coupled with machine-driven design exploration to create a compact network with highly customized module-level macroarchitecture and microarchitecture designs tailored for the task of embedded object detection. The proposed YOLO Nano possesses a model size of ~4.0MB (>15.1x and >8.3x smaller than Tiny YOLOv2 and Tiny YOLOv3, respectively) and requires 4.57B operations for inference (>34% and ~17% lower than Tiny YOLOv2 and Tiny YOLOv3, respectively) while still achieving an mAP of ~69.1% on the VOC 2007 dataset (~12% and ~10.7% higher than Tiny YOLOv2 and Tiny YOLOv3, respectively). Experiments on inference speed and power efficiency on a Jetson AGX Xavier embedded module at different power budgets further demonstrate the efficacy of YOLO Nano for embedded scenarios.

研究动机与目标

• 解决在内存和功耗受限的边缘和移动设备上部署大型、计算密集型目标检测网络的挑战。
• 克服现有紧凑模型（如 Tiny YOLOv2 和 Tiny YOLOv3）为减小尺寸和提升速度而牺牲精度的局限性。
• 通过结合原则性原型设计与机器驱动的架构搜索的人机协同设计策略，开发一种高度高效、紧凑的目标检测架构。
• 通过在功耗预算受限条件下平衡模型大小、推理速度和精度，优化真实场景下的嵌入式部署。
• 在嵌入式硬件上展示卓越性能，特别是在 Jetson AGX Xavier 上的功耗效率和推理速度。

提出的方法

• 采用两阶段人机协同设计策略：(1) 基于 YOLO 系列设计原则的原则性网络架构原型设计；(2) 利用生成式合成进行机器驱动的架构探索。
• 利用自定义搜索空间，实现在宏观和微观架构层面的细粒度架构定制，包括独特的模块组合和层级特定设计。
• 通过机器驱动的探索，在网络中战略性地引入轻量级全连接注意力（FCA）模块，实现在无显著计算开销的前提下动态特征重校准。
• 采用受 DARTS 启发的可微分架构搜索方法，探索包括 PEP 模块、EP 模块、FCA 和标准 1×1 与 3×3 卷积在内的多样化架构配置。
• 通过在 Jetson AGX Xavier 上进行功耗感知的评估，协同优化模型大小、FLOPs 和推理速度，以实现边缘部署优化。
• 通过 FCA 实现通道级特征重校准，FCA 利用两个全连接层学习通道间的动态依赖关系，并对特征进行重加权，以提升表达能力。

实验结果

研究问题

• RQ1 人机协同设计策略能否生成比现有最先进微型模型更紧凑、更准确的目标检测网络？
• RQ2 在宏观和微观层面的架构异质性在多大程度上能改善模型表达能力、计算成本和尺寸之间的平衡？
• RQ3 轻量级注意力机制（如 FCA）的集成对超紧凑网络的性能和效率有何影响？
• RQ4 在功耗受限条件下，高度紧凑的网络能否在边缘硬件上实现优于 Tiny YOLOv2 和 Tiny YOLOv3 的精度和效率？
• RQ5 所提出的网络在 Jetson AGX Xavier 等嵌入式平台上的实际推理速度和功耗效率如何？

主要发现

• YOLO Nano 的模型大小为 4.0MB，比 Tiny YOLOv2（60.5MB）小 15 倍以上，比 Tiny YOLOv3（33.4MB）小 8 倍以上。
• 网络推理仅需 4.57B 次 FLOPs，相比 Tiny YOLOv2（6.97B FLOPs）减少 34%，相比 Tiny YOLOv3（5.52B FLOPs）减少 17%。
• YOLO Nano 在 VOC 2007 测试集上达到 69.1% 的 mAP，比 Tiny YOLOv2（57.1%）高出 12%，比 Tiny YOLOv3（58.4%）高出 10.7%。
• 在 Jetson AGX Xavier 上，YOLO Nano 在 15W 下达到 26.9 FPS，30W 下达到 48.2 FPS，功耗效率分别为 1.97 和 1.61 张图片/秒/瓦。
• 机器驱动的设计过程成功生成了一种高度异构的架构，各模块在宏观和微观架构层面均具有独特性，实现了复杂度与表达能力之间的最优权衡。
• 通过自动化搜索战略性地集成轻量级全连接注意力（FCA）模块，增强了特征重校准，提升了精度，且未增加计算成本。