[论文解读] SkyNet: A Champion Model for DAC-SDC on Low Power Object Detection

Xiaofan Zhang, Cong Hao+10 more|arXiv (Cornell University)|Jun 25, 2019

Advanced Neural Network Applications参考文献 10被引用 20

一句话总结

SkyNet 是一种轻量级、自底向上的设计的深度神经网络，包含12个卷积层，参数量仅为1.82 MB，专为低功耗边缘推理优化。在DAC-SDC 2019挑战赛中，通过集成硬件感知设计、特征图旁路、ReLU6以及重排优化，SkyNet在GPU（0.731 IoU，67.33 FPS）和FPGA（0.716 IoU，25.05 FPS）平台上均获得第一名，实现了最先进的性能表现。

ABSTRACT

Developing artificial intelligence (AI) at the edge is always challenging, since edge devices have limited computation capability and memory resources but need to meet demanding requirements, such as real-time processing, high throughput performance, and high inference accuracy. To overcome these challenges, we propose SkyNet, an extremely lightweight DNN with 12 convolutional (Conv) layers and only 1.82 megabyte (MB) of parameters following a bottom-up DNN design approach. SkyNet is demonstrated in the 56th IEEE/ACM Design Automation Conference System Design Contest (DAC-SDC), a low power object detection challenge in images captured by unmanned aerial vehicles (UAVs). SkyNet won the first place award for both the GPU and FPGA tracks of the contest: we deliver 0.731 Intersection over Union (IoU) and 67.33 frames per second (FPS) on a TX2 GPU and deliver 0.716 IoU and 25.05 FPS on an Ultra96 FPGA.

研究动机与目标

• 为在资源受限的边缘设备上实现实时目标检测的高推理精度与高效率，解决该挑战。
• 克服依赖预训练大模型压缩的传统自顶向下DNN设计方法的局限性，这些方法往往难以在精度与硬件效率之间取得平衡。
• 开发一种专为低功耗嵌入式平台（如TX2 GPU和Ultra96 FPGA）量身定制的轻量级、硬件感知DNN架构。
• 证明从一开始就基于硬件约束进行设计的自底向上方法，可在边缘目标检测中超越传统的压缩方法。
• 通过同时优化精度（IoU）、吞吐量（FPS）和能效，树立低功耗目标检测的新基准。

提出的方法

• 提出一种从最小架构组件出发的自底向上DNN设计方法，而非对已有大模型进行压缩。
• 设计SkyNet时采用12个卷积层，仅含1.82 MB参数，以最小化内存与计算负载。
• 集成硬件感知组件：通过特征图旁路减少深度，通过层重排优化内存访问模式，并使用ReLU6替代ReLU以提升量化效果与能效。
• 在NVIDIA TX2 GPU（32位浮点）和Xilinx Ultra96 FPGA（9位特征图，11位权重）上部署模型，评估跨平台性能表现。
• 采用自定义评分系统，综合IoU、能效（通过日志比率计算平均功耗）与吞吐量，计算总分，更高得分更有利于低功耗与高精度。
• 应用基于搜索的优化方法（如SCD），在目标延迟与资源约束下，通过评估层组合包，逐步扩展网络结构。

实验结果

研究问题

• RQ1 在边缘设备上，自底向上的DNN设计方法是否能超越依赖模型压缩的自顶向下策略，在低功耗目标检测中表现更优？
• RQ2 诸如ReLU6、特征图旁路和层重排等架构改进，在嵌入式GPU与FPGA上如何显著提升精度与效率？
• RQ3 仅含1.82 MB参数的轻量级DNN在无人机拍摄图像上，能在多大程度上实现高检测精度（IoU）与实时吞吐量（FPS）？
• RQ4 硬件感知设计（包括量化与内存访问优化）如何影响边缘AI系统中的能效与推理速度？
• RQ5 单一模型架构是否能在无需平台特定微调的情况下，实现在GPU与FPGA等多样化边缘平台上的顶级性能？

主要发现

• SkyNet在NVIDIA TX2 GPU上实现了0.731的交并比（IoU）与67.33帧每秒（FPS）的性能，赢得GPU赛道第一名。
• 在Xilinx Ultra96 FPGA上，SkyNet实现了0.716的IoU与25.05 FPS的性能，夺得FPGA赛道第一名。
• 该模型在GPU上仅消耗13.50 W，在FPGA上仅消耗7.26 W，优异的能效表现助力其在两个赛道均获得最高总分。
• SkyNet在GPU上的总得分为1.504，在FPGA上为1.526，均超越所有其他参赛作品，位居双赛道首位。
• 自底向上设计方法结合ReLU6、特征图旁路与层重排，使SkyNet在精度与效率方面均优于基于压缩的模型（如Tiny YOLO与MobileNet）。
• SkyNet的成功表明，硬件感知的紧凑DNN设计相比对大模型进行后期压缩，可在边缘设备上实现更优越的性能表现。