[论文解读] ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design

Ningning Ma, Xiangyu Zhang+2 more|ArXiv.org|Jul 30, 2018

Advanced Neural Network Applications参考文献 53被引用 236

一句话总结

这篇论文认为在目标平台上的速度/延迟是卷积神经网络的直接效率度量，并在实用指南的引导下提出 ShuffleNet V2，在速度-精度权衡方面优于先前的轻量化模型。

ABSTRACT

Currently, the neural network architecture design is mostly guided by the \emph{indirect} metric of computation complexity, i.e., FLOPs. However, the \emph{direct} metric, e.g., speed, also depends on the other factors such as memory access cost and platform characterics. Thus, this work proposes to evaluate the direct metric on the target platform, beyond only considering FLOPs. Based on a series of controlled experiments, this work derives several practical \emph{guidelines} for efficient network design. Accordingly, a new architecture is presented, called \emph{ShuffleNet V2}. Comprehensive ablation experiments verify that our model is the state-of-the-art in terms of speed and accuracy tradeoff.

研究动机与目标

• 通过在目标硬件上直接速度的考察，推动超越 FLOPs 的架构设计。
• 识别与实际运行时性能相关的实用指南。
• 提出遵循这些指南的高效网络架构（ShuffleNet V2）。
• 证明新架构在多平台和多工作负载上实现更优的速度-精度权衡。

提出的方法

• 使用优化库，在GPU和ARM上评估代表性网络（ShuffleNet v1 和 MobileNet v2）的运行时性能。
• 通过关注内存访问成本（MAC）、分组卷积、网络碎片化和逐元素操作的受控实验推导指南。
• 提出通道分割和基于洗牌的构建块，在保持等宽通道（G1）的同时降低 MAC（G2）和碎片化（G3）。
• 构建避免过度碎片化和不必要逐元素操作（G4）的 ShuffleNet V2 块。
• 在 FLOPs 量级和任务（ImageNet 分类；COCO 检测）上，与多基线进行对比评测。
• 讨论与 SE 模块的兼容性以及对更大模型的潜在扩展。

实验结果

研究问题

• RQ1 GPU 和 ARM 设备上的直接速度指标与轻量级 CNN 的 FLOPs 有何关系？
• RQ2 哪些架构指南能在不牺牲目标平台准确性的前提下最大化实际速度？
• RQ3 通道分割/洗牌构建块设计能否在降低内存访问成本和碎片化的同时保持高准确度？
• RQ4 在标准 FLOP 预算下，ShuffleNet V2 与 ShuffleNet v1、MobileNet v2、Xception 的表现如何？
• RQ5 除了ImageNet分类，ShuffleNet V2 对 COCO 等下游任务的效果如何？

主要发现

• 直接速度与平台特性和内存访问相关，单靠 FLOPs 不足以预测。
• 均衡的通道宽度（输入/输出通道相等）可最小化内存访问成本并提高速度。
• 过多分组卷积会增加 MAC 且降低GPU和ARM CPU的速度；中等分组更可取。
• 减少网络碎片化、避免过度的小碎片化算子可提高并行度和速度，尤其在GPU上。
• 在瓶颈单元中移除某些逐元素操作（ReLU、捷径）在测试设置中可提高速度，同时不显著损失准确性。
• ShuffleNet V2 在常用复杂度预算下相较 ShuffleNet v1、MobileNet v2 和 Xception 具备更优的速度-精度权衡；且对 COCO 目标检测具有竞争力的表现。