[论文解读] S3NAS: Fast NPU-aware Neural Architecture Search Methodology

Jaeseong Lee, Duseok Kang+1 more|arXiv (Cornell University)|Sep 4, 2020

Advanced Neural Network Applications参考文献 39被引用 7

一句话总结

S3NAS 提出了一种快速、NPU感知的神经架构搜索方法，通过扩展超网络结构以支持可变阶段深度和混合卷积核大小的模块，结合延迟约束的单路径NAS与复合缩放技术，显著提升了搜索效率与准确性。该方法仅用3小时即在TPUv3上实现了11.66ms延迟下的82.72% ImageNet top-1准确率，优于现有模型和随机搜索基线。

ABSTRACT

As the application area of convolutional neural networks (CNN) is growing in embedded devices, it becomes popular to use a hardware CNN accelerator, called neural processing unit (NPU), to achieve higher performance per watt than CPUs or GPUs. Recently, automated neural architecture search (NAS) emerges as the default technique to find a state-of-the-art CNN architecture with higher accuracy than manually-designed architectures for image classification. In this paper, we present a fast NPU-aware NAS methodology, called S3NAS, to find a CNN architecture with higher accuracy than the existing ones under a given latency constraint. It consists of three steps: supernet design, Single-Path NAS for fast architecture exploration, and scaling. To widen the search space of the supernet structure that consists of stages, we allow stages to have a different number of blocks and blocks to have parallel layers of different kernel sizes. For a fast neural architecture search, we apply a modified Single-Path NAS technique to the proposed supernet structure. In this step, we assume a shorter latency constraint than the required to reduce the search space and the search time. The last step is to scale up the network maximally within the latency constraint. For accurate latency estimation, an analytical latency estimator is devised, based on a cycle-level NPU simulator that runs an entire CNN considering the memory access overhead accurately. With the proposed methodology, we are able to find a network in 3 hours using TPUv3, which shows 82.72% top-1 accuracy on ImageNet with 11.66 ms latency. Code are released at https://github.com/cap-lab/S3NAS

研究动机与目标

• 为解决在NPU硬件上严格延迟约束下寻找高精度CNN架构的挑战。
• 通过利用硬件感知的延迟估计与高效搜索策略，减少NPU平台上NAS的搜索时间与搜索空间。
• 通过扩展超网络架构并应用复合缩放后处理，改善精度-延迟权衡。
• 证明在NAS中，超网络设计与延迟感知搜索比搜索策略本身更具影响力。

提出的方法

• 通过允许每阶段的模块数量可变，并引入具有不同卷积核大小的并行层（混合深度可分离卷积），扩展单路径NAS的超网络结构，以扩大搜索空间。
• 采用改进的单路径NAS方法，使用比目标更严格的延迟约束，以缩小搜索空间并加速架构探索。
• 使用基于周期级的NPU仿真器进行精确的延迟估计，替代MAC计数作为延迟度量，以反映平台特定的性能表现。
• 在找到的基础架构上执行复合缩放，以在目标延迟预算内生成更大规模的模型。
• 引入后处理增强技术，如挤压-激励（SE）模块与h-swish激活函数，进一步提升精度。
• 采用可微分的一次性NAS方法，仅训练一个超网络，并通过可学习权重推导架构性能。

实验结果

研究问题

• RQ1 通过在超网络结构中引入可变阶段深度与混合卷积核大小模块，是否能显著改善NPU平台NAS中的精度-延迟权衡？
• RQ2 在单路径NAS搜索过程中使用更严格的延迟约束，是否能在减少搜索时间的同时仍能获得高精度架构？
• RQ3 在NPU硬件上，面对宽松的延迟约束，复合缩放与直接搜索相比，其在扩展基础架构方面的有效性如何？
• RQ4 像SE模块与h-swish激活函数这样的架构组件，在NPU优化模型中能多大程度上提升精度？

主要发现

• S3NAS在目标NPU上仅用11.66ms延迟即实现了82.72%的ImageNet top-1准确率，优于现有模型在相同延迟约束下的表现。
• 该方法在TPUv3上仅用3小时即完成架构搜索，展现出极高的效率。
• 随机搜索与随机选择方法虽具竞争力，但最高仅达到79.19% top-1准确率，证实了所提搜索策略的优越性。
• SE模块与h-swish激活函数的组合相比仅使用ReLU的基线模型，精度提升了约1%。
• 直接搜索大模型耗时10小时（在TPUv3上），而复合缩放方法以更高效的方式实现了相近结果，验证了其有效性。
• 研究证实，超网络架构设计对最终精度的影响大于搜索策略，这从所提方法与随机方法之间持续存在的性能差距中得到验证。