[论文解读] Stronger NAS with Weaker Predictors

Junru Wu, Xiyang Dai+8 more|arXiv (Cornell University)|Feb 21, 2021

Advanced Neural Network Applications参考文献 57被引用 13

一句话总结

本文提出 WeakNAS，一种新型神经架构搜索（NAS）框架，通过用一系列逐步优化的弱预测器替代单一强预测器，提升样本效率。通过迭代地从由先前预测器引导的日益有希望的子空间中采样架构，WeakNAS 在显著减少查询次数的情况下实现了最先进性能——在 NAS-Bench-101 上找到全局最优解所需的样本数至少比之前方法减少 7.5 倍，并在 MobileNet 搜索空间上使用 ImageNet 数据集实现了 81.3% 的 top-1 准确率。

ABSTRACT

Neural Architecture Search (NAS) often trains and evaluates a large number of architectures. Recent predictor-based NAS approaches attempt to alleviate such heavy computation costs with two key steps: sampling some architecture-performance pairs and fitting a proxy accuracy predictor. Given limited samples, these predictors, however, are far from accurate to locate top architectures due to the difficulty of fitting the huge search space. This paper reflects on a simple yet crucial question: if our final goal is to find the best architecture, do we really need to model the whole space well?. We propose a paradigm shift from fitting the whole architecture space using one strong predictor, to progressively fitting a search path towards the high-performance sub-space through a set of weaker predictors. As a key property of the weak predictors, their probabilities of sampling better architectures keep increasing. Hence we only sample a few well-performed architectures guided by the previously learned predictor and estimate a new better weak predictor. This embarrassingly easy framework, dubbed WeakNAS, produces coarse-to-fine iteration to gradually refine the ranking of sampling space. Extensive experiments demonstrate that WeakNAS costs fewer samples to find top-performance architectures on NAS-Bench-101 and NAS-Bench-201. Compared to state-of-the-art (SOTA) predictor-based NAS methods, WeakNAS outperforms all with notable margins, e.g., requiring at least 7.5x less samples to find global optimal on NAS-Bench-101. WeakNAS can also absorb their ideas to boost performance more. Further, WeakNAS strikes the new SOTA result of 81.3% in the ImageNet MobileNet Search Space. The code is available at https://github.com/VITA-Group/WeakNAS.

研究动机与目标

• 解决现有基于预测器的 NAS 方法效率低下的问题，这些方法依赖单一强预测器在有限样本下建模整个复杂架构空间。
• 通过从全局建模转向通过弱预测器实现渐进式优化，降低计算成本和方差。
• 在多种架构表示和预测器架构下提升样本效率和鲁棒性。
• 在标准 NAS 基准和真实世界搜索空间（如 ImageNet）上实现最先进性能。

提出的方法

• WeakNAS 采用迭代框架，每轮使用在小而聚焦的架构子集上训练的弱预测器，引导采样向更高性能的子空间进行。
• 在每一步中，算法从当前弱预测器排名前 N 的架构中采样，逐步缩小搜索空间，聚焦于高质量区域。
• 采样比例 ε = M/N 动态调整，以平衡探索与利用，确保每轮中性能更优的架构具有更高的采样概率。
• 每个新弱预测器仅基于前一轮最新、高质量的样本进行训练，从而实现搜索路径的渐进式优化。
• 该框架与架构编码方式和预测器类型无关，支持多种嵌入和模型组合（如 MLP、随机森林、梯度提升）。
• WeakNAS 可与其它方法（如半监督学习，例如 Semi-NAS）结合，通过训练期间利用伪标签进一步提升性能。

实验结果

研究问题

• RQ1 一系列逐步优化的弱预测器是否能在样本效率方面超越单一强预测器？
• RQ2 向高性能子空间进行迭代优化是否能降低 NAS 中的方差并提升鲁棒性？
• RQ3 WeakNAS 是否能在无需架构重构的情况下，泛化到不同的架构编码和预测器架构？
• RQ4 WeakNAS 在标准 NAS 基准上能将找到最优架构所需的查询次数减少多少？
• RQ5 WeakNAS 是否能在极低查询预算下，于大规模搜索空间（如 ImageNet）上实现最先进性能？

主要发现

• WeakNAS 在 NAS-Bench-101 上实现最先进性能，找到全局最优架构所需的查询次数至少比现有最先进方法减少 7.5 倍。
• 在 NAS-Bench-201 上，WeakNAS 相较于强预测器基线展现出显著更低的方差和更快的收敛速度，尤其在低样本预算下表现更优。
• 在 ImageNet 的 MobileNet 搜索空间中，WeakNAS 仅用 1,000 次查询即达到 81.3% 的 top-1 准确率，优于类似查询约束下的 LaNAS（80.8%）和 OFA（80.0%）。
• 与 Semi-NAS 结合后，WeakNAS 进一步提升性能，表明其与现有半监督 NAS 技术具有良好的兼容性和协同效应。
• WeakNAS 将 NAS 所需的 GPU 天数从数百降低至不足 0.2 天，显著降低计算和能耗成本。
• 该框架在多种架构编码和预测器类型下均保持优异性能，展现出极强的泛化能力和灵活性。