[论文解读] NAIS: Neural Architecture and Implementation Search and its Applications in Autonomous Driving

Cong Hao, Yao Chen+10 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 31被引用 5

一句话总结

本文提出神经架构与实现搜索（NAIS），一种协同设计方法，可同时针对FPGA和GPU等目标平台优化深度神经网络（DNN）及其硬件实现。通过将硬件感知搜索集成到神经架构搜索中，NAIS在实时目标检测网络（SkyNet）上实现了高精度、低延迟和高效率的模型，验证平台为嵌入式GPU和FPGA加速器。

ABSTRACT

The rapidly growing demands for powerful AI algorithms in many application domains have motivated massive investment in both high-quality deep neural network (DNN) models and high-efficiency implementations. In this position paper, we argue that a simultaneous DNN/implementation co-design methodology, named Neural Architecture and Implementation Search (NAIS), deserves more research attention to boost the development productivity and efficiency of both DNN models and implementation optimization. We propose a stylized design methodology that can drastically cut down the search cost while preserving the quality of the end solution.As an illustration, we discuss this DNN/implementation methodology in the context of both FPGAs and GPUs. We take autonomous driving as a key use case as it is one of the most demanding areas for high quality AI algorithms and accelerators. We discuss how such a co-design methodology can impact the autonomous driving industry significantly. We identify several research opportunities in this exciting domain.

研究动机与目标

• 通过消除DNN与实现的孤立设计，弥合高精度DNN模型与其高效硬件部署之间的差距。
• 通过DNN与硬件加速器的自动化、同步协同设计，缩短设计周期并提升开发效率。
• 通过联合优化性能、资源约束和硬件特性，实现在多样化平台（尤其是FPGA和GPU）上的AI模型高效部署。
• 为自动驾驶等高要求领域提供从半定制化平台（如FPGA）到全定制化ASIC的可扩展演进路径。
• 通过在DNN设计早期嵌入硬件知识，弥合算法设计与底层实现优化之间的脱节。

提出的方法

• 提出NAIS作为统一框架，在预定义的协同设计空间中联合搜索神经架构空间与硬件实现空间。
• 将延迟、吞吐量和内存带宽等硬件性能指标整合到搜索目标中，以指导DNN架构选择。
• 采用可微分或基于强化学习的NAS引擎，并结合硬件感知奖励函数，实现对DNN与实现配置的高效搜索。
• 将NAIS方法应用于FPGA和GPU平台，分别探索FPGA上的定制硬件加速器与GPU上的优化软件栈。
• 利用可重构硬件（如FPGA）作为通往ASIC的桥梁，实现从半定制化到全定制化平台的验证与迁移。
• 通过SkyNet的案例研究验证该方法，SkyNet是一种轻量级目标检测网络，经NAIS协同优化，专为NVIDIA Jetson TX2等嵌入式GPU的推理而设计。

实验结果

研究问题

• RQ1 如何协同优化DNN架构与硬件实现，以在目标平台上同时最大化模型精度与系统性能（延迟、吞吐量）？
• RQ2 在神经架构搜索过程中整合硬件约束（如内存、计算能力、带宽）对最终解决方案质量有何影响？
• RQ3 与传统的自顶向下方法相比，统一的协同设计方法（如NAIS）能否显著缩短设计周期并提升开发效率？
• RQ4 NAIS如何在自动驾驶等安全关键应用中，实现从半定制化FPGA平台到全定制化ASIC的可扩展演进？
• RQ5 硬件感知的DNN搜索在多大程度上能提升嵌入式AI系统中的实时性能与资源效率？

主要发现

• NAIS能够发现为特定硬件平台（如FPGA和GPU）原生优化的DNN架构，实现高精度与低延迟。
• 通过NAIS协同设计的SkyNet网络在Jetson TX2平台上实现了实时目标检测性能，证明了该方法的实用性。
• 通过协同设计DNN与实现，NAIS减少了模型与部署阶段之间反复迭代优化的需求，显著缩短了设计周期。
• 该方法在资源与延迟约束下具备可预测的性能表现，适用于自动驾驶等安全关键应用。
• NAIS为从基于FPGA的原型到ASIC的演进提供了可行路径，降低了NRE成本，并加速了定制加速器的上市时间。
• 与仅关注模型精度或仅包含有限硬件反馈的现有NAS方法相比，NAIS通过统一DNN与实现搜索，实现了更优的端到端系统性能。