[论文解读] TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search

Yibo Hu, Xiang Wu+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 49被引用 8

一句话总结

TF-NAS 提出了一种新颖的可微神经架构搜索框架，重新思考了操作级别、深度级别和宽度级别的搜索自由度，以实现高精度且延迟受限的模型。通过引入双采样机制以缓解操作坍塌问题，设计一种汇点连接的搜索空间以强制执行跳跃连接的互斥性并减少冗余，并采用弹性缩放策略实现细粒度的延迟控制，TF-NAS 在仅 1.8 个 GPU 天的搜索时间内实现了 ImageNet 上 76.9% 的 top-1 准确率，并具备精确的延迟控制能力。

ABSTRACT

With the flourish of differentiable neural architecture search (NAS), automatically searching latency-constrained architectures gives a new perspective to reduce human labor and expertise. However, the searched architectures are usually suboptimal in accuracy and may have large jitters around the target latency. In this paper, we rethink three freedoms of differentiable NAS, i.e. operation-level, depth-level and width-level, and propose a novel method, named Three-Freedom NAS (TF-NAS), to achieve both good classification accuracy and precise latency constraint. For the operation-level, we present a bi-sampling search algorithm to moderate the operation collapse. For the depth-level, we introduce a sink-connecting search space to ensure the mutual exclusion between skip and other candidate operations, as well as eliminate the architecture redundancy. For the width-level, we propose an elasticity-scaling strategy that achieves precise latency constraint in a progressively fine-grained manner. Experiments on ImageNet demonstrate the effectiveness of TF-NAS. Particularly, our searched TF-NAS-A obtains 76.9% top-1 accuracy, achieving state-of-the-art results with less latency. The total search time is only 1.8 days on 1 Titan RTX GPU. Code is available at https://github.com/AberHu/TF-NAS.

研究动机与目标

• 为解决现有延迟受限可微 NAS 方法中准确率不理想和延迟抖动大的问题。
• 探究并解决由操作级别坍塌、深度级别冗余以及粗粒度宽度级别离散化引发的不稳定性问题。
• 通过重新设计搜索空间和逐步优化，实现在保持高模型准确率的同时实现精确的延迟约束。
• 通过建模跳跃连接与其他操作之间的互斥性，提升搜索的稳定性和灵活性。
• 在搜索阶段以极低的计算成本实现最先进性能。

提出的方法

• 提出一种双采样搜索算法，通过同时从架构空间和操作空间采样，以减少操作坍塌。
• 引入一种汇点连接的搜索空间，强制实现跳跃连接与其他操作之间的互斥性，消除架构冗余。
• 设计一种弹性缩放策略，通过逐步缩小和扩展模型宽度，实现细粒度的延迟控制。
• 采用基于超网络的可微 NAS 框架，整合三种搜索自由度，并通过梯度优化进行联合搜索。
• 使用延迟感知的搜索目标，引导架构搜索在特定硬件上满足目标延迟约束。
• 在搜索过程中应用渐进式宽度缩放，以优化搜索空间并提升收敛至精确延迟目标的能力。

实验结果

研究问题

• RQ1 如何缓解可微 NAS 中的操作坍塌问题，以提升搜索稳定性和多样性？
• RQ2 跳跃连接在深度级别搜索中扮演什么角色？如何强制实现其与其他操作的互斥性？
• RQ3 为何粗粒度的宽度离散化会导致延迟控制不精确？如何实现渐进式优化？
• RQ4 能否设计一种统一的搜索框架，整合操作、深度和宽度自由度，以同时实现高准确率和精确的延迟约束？
• RQ5 所提出的 TF-NAS 方法在准确率、延迟精度和搜索效率方面与最先进 NAS 方法相比表现如何？

主要发现

• TF-NAS-A 在 ImageNet 上实现了 76.9% 的 top-1 准确率，创下延迟受限模型的新 SOTA 结果。
• 该方法实现了精确的延迟控制，经优化后搜索到的架构与目标延迟高度吻合（例如，15.76ms vs. 15ms 的目标延迟）。
• 搜索过程仅需 1.8 个 GPU 天，相比先前方法显著降低了计算成本。
• 双采样策略有效减少了操作坍塌，提升了搜索的稳定性和多样性。
• 汇点连接的搜索空间消除了架构冗余，并确保跳跃连接与其他操作互斥。
• 弹性缩放策略实现了逐步细化的宽度调节，从而支持精确的延迟约束。