[论文解读] Standing on the Shoulders of Giants: Hardware and Neural Architecture Co-Search with Hot Start

Weiwen Jiang, Lei Yang+3 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 34被引用 9

一句话总结

HotNAS 提出了一种硬件与神经网络架构协同搜索框架，从预训练模型（即‘热启动’）开始，将搜索时间从数百 GPU 小时减少至 3 小时以内。通过将模型压缩集成到硬件感知的神经架构搜索联合设计流程中，HotNAS 在 Xilinx FPGA 上实现 5ms 延迟约束下，ImageNet 上 Top-1 准确率提升最高达 5.79%，Top-5 准确率提升最高达 3.97%。

ABSTRACT

Hardware and neural architecture co-search that automatically generates Artificial Intelligence (AI) solutions from a given dataset is promising to promote AI democratization; however, the amount of time that is required by current co-search frameworks is in the order of hundreds of GPU hours for one target hardware. This inhibits the use of such frameworks on commodity hardware. The root cause of the low efficiency in existing co-search frameworks is the fact that they start from a "cold" state (i.e., search from scratch). In this paper, we propose a novel framework, namely HotNAS, that starts from a "hot" state based on a set of existing pre-trained models (a.k.a. model zoo) to avoid lengthy training time. As such, the search time can be reduced from 200 GPU hours to less than 3 GPU hours. In HotNAS, in addition to hardware design space and neural architecture search space, we further integrate a compression space to conduct model compressing during the co-search, which creates new opportunities to reduce latency but also brings challenges. One of the key challenges is that all of the above search spaces are coupled with each other, e.g., compression may not work without hardware design support. To tackle this issue, HotNAS builds a chain of tools to design hardware to support compression, based on which a global optimizer is developed to automatically co-search all the involved search spaces. Experiments on ImageNet dataset and Xilinx FPGA show that, within the timing constraint of 5ms, neural architectures generated by HotNAS can achieve up to 5.79% Top-1 and 3.97% Top-5 accuracy gain, compared with the existing ones.

研究动机与目标

• 解决当前硬件与神经网络架构协同搜索框架效率低下的问题，这些框架通常需要为每种目标硬件消耗数百 GPU 小时的搜索时间。
• 通过利用模型动物园中已有的预训练模型，克服冷启动搜索的瓶颈，加速收敛过程。
• 将模型压缩技术整合到协同搜索空间中，以在保持准确率的同时降低延迟。
• 构建一个全局优化的、耦合硬件设计、神经网络架构与压缩技术空间的联合搜索流程。
• 为实时边缘应用中具有严格时序约束的场景，实现快速、高精度且硬件感知的模型生成。

提出的方法

• 从模型动物园中已有的模型（包括人工设计、NAS 识别或迁移学习得到的模型）出发，启动‘热启动’搜索。
• 使用 iDetect 识别候选模型中的硬件性能瓶颈（例如内存带宽、计算利用率）。
• 基于 iDetect 的结果构建 iSpace 搜索空间，包含神经网络架构变体（如深度、宽度、卷积核大小）、硬件循环分块（loop tiling）以及压缩技术（如剪枝）。
• 采用 iSearch，一种基于强化学习的优化器，其奖励函数通过超参数 α 加权准确率与延迟，实现对所有搜索空间的联合优化。
• 利用 iDesign 构建性能模型，用于预测候选设计的延迟与资源使用情况，实现在无需完整综合的情况下快速评估。
• 采用两阶段微调流程：首先使用小批量大小（β=10）进行快速搜索以实现快速探索，随后通过全精度微调（β=195）对最终准确率进行验证。

实验结果

研究问题

• RQ1 从预训练模型出发的‘热启动’是否能显著减少硬件与神经网络架构协同搜索所需的时间？
• RQ2 将模型压缩集成到协同搜索空间中，对延迟、准确率与硬件效率之间的权衡有何影响？
• RQ3 在严格时序约束下，硬件设计、神经网络架构与压缩技术空间的耦合是否能被有效协同优化？
• RQ4 所提出的框架是否能在将搜索时间从数百 GPU 小时缩短至 3 小时以内的同时，实现最先进水平的准确率？
• RQ5 奖励函数超参数 α 的选择如何影响最终设计中准确率与延迟之间的平衡？

主要发现

• HotNAS 将 ImageNet 的搜索时间从约 200 GPU 小时（冷启动）减少至 3 小时以内，CIFAR-10 的搜索时间缩短至 20 分钟，且未使用代理数据集。
• 在 Xilinx ZCU 102 FPGA 上满足 5ms 延迟约束的 ImageNet 任务中，HotNAS 相较于最先进模型，Top-1 准确率最高提升 5.79%，Top-5 准确率最高提升 3.97%。
• 对于 CIFAR-10，HotNAS 将 MobileNet 的准确率最高提升 0.10%，将 BitNet 的延迟最高降低 48.26%，且在 20 分钟内完成搜索，采用快速搜索模式。
• 快速搜索模式（β=10）在保持竞争力准确率的同时（例如，比 1 轮搜索的 DenseNet 高 0.11%），将搜索时间缩短至 20 分钟以内。
• 当奖励函数中 α=0.7（侧重准确率）时，模型在约 160 个训练周期后收敛，生成的模型接近 2ms 延迟阈值；当 α=0.3（侧重延迟）时，收敛更快（约 120 个周期），且延迟更低。
• 当检测到延迟约束被违反时，训练过程会提前终止，从而加速搜索，证明了该框架在过滤不可行设计方面的高效性。