[论文解读] Rethinking Co-design of Neural Architectures and Hardware Accelerators

Yanqi Zhou, Xuanyi Dong+8 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Neural Network Applications参考文献 37被引用 17

一句话总结

本文提出 NAHAS，一种联合神经架构与硬件加速器搜索框架，在工业标准边缘加速器上协同优化模型架构与加速器配置。通过在硬件约束下联合搜索两者空间，NAHAS 在 ImageNet 上实现 1% 的 top-1 准确率提升，能量消耗最高降低 2 倍，优于当前最先进方法。

ABSTRACT

Neural architectures and hardware accelerators have been two driving forces for the progress in deep learning. Previous works typically attempt to optimize hardware given a fixed model architecture or model architecture given fixed hardware. And the dominant hardware architecture explored in this prior work is FPGAs. In our work, we target the optimization of hardware and software configurations on an industry-standard edge accelerator. We systematically study the importance and strategies of co-designing neural architectures and hardware accelerators. We make three observations: 1) the software search space has to be customized to fully leverage the targeted hardware architecture, 2) the search for the model architecture and hardware architecture should be done jointly to achieve the best of both worlds, and 3) different use cases lead to very different search outcomes. Our experiments show that the joint search method consistently outperforms previous platform-aware neural architecture search, manually crafted models, and the state-of-the-art EfficientNet on all latency targets by around 1% on ImageNet top-1 accuracy. Our method can reduce energy consumption of an edge accelerator by up to 2x under the same accuracy constraint, when co-adapting the model architecture and hardware accelerator configurations.

研究动机与目标

• 为解决平台感知 NAS 中固定硬件配置所导致的局限性，此类配置限制了模型效率与性能。
• 探究硬件加速器配置如何影响边缘设备上神经架构搜索结果与模型效率。
• 开发一个统一框架，在延迟、能耗与芯片面积约束下，联合优化神经架构与硬件加速器配置。
• 证明通过定制 NAS 搜索空间并联合搜索两者空间，可获得比顺序或固定配置方法更优的帕累托效率。
• 使用真实边缘加速器，在图像分类与语义分割等不同任务上验证该框架的泛化能力。

提出的方法

• 提出 NAHAS，一种双层优化框架，可在统一搜索空间中联合搜索神经架构与硬件加速器配置。
• 将神经架构与硬件加速器配置（如处理单元数量、内存带宽、计算与内存比）参数化为可调参数。
• 对芯片面积、推理延迟与能耗施加硬件资源约束，以确保实际可行性。
• 采用任务驱动方法，搜索过程由真实工作负载（如图像分类、目标检测）引导，而非固定模型。
• 采用多轮次搜索策略并结合参数共享以提升效率，支持对大规模搜索空间的可扩展探索。
• 在硬件与模型联合优化过程中，应用软约束与硬约束函数以平衡探索与约束满足。

实验结果

研究问题

• RQ1 固定硬件配置在多大程度上限制了平台感知神经架构搜索的性能与效率？
• RQ2 联合优化神经架构与硬件加速器配置在边缘加速器上，能在多大程度上提升准确率、延迟与能效？
• RQ3 不同使用场景（如小型 vs. 大型模型、不同任务）如何影响最优硬件与模型配置？
• RQ4 结合神经架构与硬件参数的统一搜索空间，是否能产生优于顺序或独立优化的帕累托最优解？
• RQ5 NAS 搜索策略的选择（如 one-shot 与多轮次）在不同延迟与能耗约束下，如何影响性能与可扩展性？

主要发现

• NAHAS 在所有延迟目标下，均比当前最先进模型（包括 EfficientNet）实现 1% 的 ImageNet top-1 准确率提升。
• NAHAS 在保持相同准确率的前提下，将能耗降低最高达 2 倍，展现出显著的能效优势。
• 联合搜索始终优于顺序或固定配置方法；即使将搜索预算加倍，分阶段搜索方法仍表现较差。
• 最优硬件配置显著依赖于模型大小与任务类型：小型模型需要更多处理单元与更少内存，而大型模型则受益于更大的本地内存与寄存器文件。
• 移除如 squeeze-and-excite 与 Swish 非线性等计算开销大的操作，可在不损失准确率的前提下提升推理延迟与能效。
• 对于具有严格延迟约束的小型模型，one-shot NAS 比多轮次 NAS 更为有效；但随着模型规模增大，由于超网络构建成本过高，其变得不切实际。