[论文解读] Not All Ops Are Created Equal!

Liangzhen Lai, Naveen Suda+1 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Memory and Neural Computing参考文献 12被引用 19

一句话总结

本文表明，传统的神经网络度量标准——计算操作数和参数量——无法准确预测在嵌入式设备上的实际效率。在 Arm Cortex-M7 上，不同操作类型的吞吐量和能耗差异最高可达 5 倍，激活内存甚至可占总内存占用的 30%，因此必须超越仅关注操作数和参数量，采用整体优化策略以实现高效的边缘推理。

ABSTRACT

Efficient and compact neural network models are essential for enabling the deployment on mobile and embedded devices. In this work, we point out that typical design metrics for gauging the efficiency of neural network architectures -- total number of operations and parameters -- are not sufficient. These metrics may not accurately correlate with the actual deployment metrics such as energy and memory footprint. We show that throughput and energy varies by up to 5X across different neural network operation types on an off-the-shelf Arm Cortex-M7 microcontroller. Furthermore, we show that the memory required for activation data also need to be considered, apart from the model parameters, for network architecture exploration studies.

研究动机与目标

• 挑战‘仅凭操作数和参数量即可充分衡量神经网络在嵌入式系统中效率’这一假设。
• 量化真实硬件上不同神经网络操作类型在吞吐量和能耗上的差异。
• 强调激活内存对资源受限设备总内存占用的关键作用，而这一因素常被忽视。
• 倡导一种整体优化框架，将操作类型、吞吐量、能耗和激活内存纳入神经架构搜索的考量。
• 基于在 Arm Cortex-M7 上的真实测量数据，提供实证证据，以指导微控制器上的高效模型部署。

提出的方法

• 在搭载 Arm Cortex-M7 的 NUCLEO-F746ZG 开发板上，对多种神经网络操作类型（如卷积、全连接、深度可分离卷积、最大池化等）测量其吞吐量、功耗和每操作能耗。
• 使用经过优化的 CMSIS-NN 内核，确保在通用型微控制器上获得准确且具有代表性的性能测量结果。
• 分析在 Google Speech Commands 数据集上训练的多个深度可分离卷积神经网络模型中，操作类型的分布情况。
• 根据网络拓扑结构和执行顺序，量化最大并发激活数据大小，以估算 SRAM 占用。
• 将操作类型分布与能耗和吞吐量相关联，识别性能瓶颈。
• 对每种硬件平台预先表征操作性能，以在神经架构搜索过程中实现网络效率的预测性估算。

实验结果

研究问题

• RQ1 在微控制器上，不同神经网络操作类型如何影响吞吐量和能耗效率？
• RQ2 当总操作数和准确率相近时，操作类型分布对神经网络总能耗的影响有多大？
• RQ3 在嵌入式设备上，激活内存相对于模型参数，在决定神经网络总内存占用方面有多重要？
• RQ4 操作类型特异性吞吐量差异是否会使总操作数作为边缘 AI 模型能耗效率代理指标失效？
• RQ5 网络拓扑结构，尤其是前馈连接，如何影响并发激活数据大小和整体内存占用？

主要发现

• 在 Arm Cortex-M7 上，不同神经网络操作类型的吞吐量差异最高可达 5 倍，其中最大池化因实现中分支过多而最慢。
• 在总操作数和准确率相近的模型中，单次推理能耗差异最高达 30%，主要源于操作类型分布的差异。
• 深度可分离卷积的吞吐量显著低于全连接层或标准卷积，原因在于每输出的 MAC 数较低且 im2col 开销较高。
• 在某些模型中，激活数据可占总内存占用的 30%，是内存受限部署中的关键影响因素。
• 具有大量跳跃连接的网络（如 DenseNet 或 NAS 生成的架构）相比标准前馈网络，激活数据量可能增加高达 10 倍。
• 仅凭参数数量不足以预测内存占用；必须将并发激活数据与模型权重一并考虑，才能实现准确的内存估算。