[论文解读] Weak NAS Predictors Are All You Need.

Junru Wu, Xiyang Dai+8 more|arXiv (Cornell University)|Feb 21, 2021

Advanced Neural Network Applications被引用 7

一句话总结

本文提出了一种从粗到精的神经架构搜索（NAS）框架，采用迭代弱预测器逐步优化搜索空间，以逼近高性能架构。通过训练一系列简单且准确率较低的预测器，并利用其随时间提升的采样能力，该方法在 NAS-Bench-101、NAS-Bench-201 和 ImageNet 上实现了显著更少采样次数的最先进性能。

ABSTRACT

Neural Architecture Search (NAS) finds the best network architecture by exploring the architecture-to-performance manifold. It often trains and evaluates a large number of architectures, causing tremendous computation costs. Recent predictor-based NAS approaches attempt to solve this problem with two key steps: sampling some architecture-performance pairs and fitting a proxy accuracy predictor. Given limited samples, these predictors, however, are far from accurate to locate top architectures. In this paper, we shift the paradigm from finding a complicated predictor that covers the whole architecture space to a set of weaker predictors that progressively move towards the high-performance sub-space. It is based on the key property of the proposed weak predictors that their probabilities of sampling better architectures keep increasing. We thus only sample a few well-performed architectures guided by the previously learned predictor and estimate a new better weak predictor. By this coarse-to-fine iteration, the ranking of sampling space is refined gradually, which helps find the optimal architectures eventually. Experiments demonstrate that our method costs fewer samples to find the top-performance architectures on NAS-Bench-101 and NAS-Bench-201, and it achieves the state-of-the-art ImageNet performance on the NASNet search space. The code is available at this https URL

研究动机与目标

• 通过用一系列弱预测器替代复杂且全局的预测器，降低神经架构搜索（NAS）的计算成本。
• 解决单个预测器模型在有限训练样本下难以识别高性能架构的准确性问题。
• 开发一种渐进式搜索策略，通过弱预测器引导的粗到精采样，逐步优化架构搜索空间。
• 在基准NAS数据集和真实世界ImageNet搜索空间中，以最小的样本效率实现最先进性能。

提出的方法

• 该方法在少量采样架构-性能配对上训练一系列弱预测器，每个预测器逐步聚焦于更高性能的子空间。
• 在每次迭代中，使用当前弱预测器采样一批高性能架构，随后用于训练下一轮迭代的优化预测器。
• 其核心创新在于设计弱预测器，使其随时间推移采样更优架构的概率逐步提升，从而实现搜索空间的粗到精渐进优化。
• 该框架通过维护一系列局部的、低复杂度的模型链，避免训练单一全局预测器，从而在每轮迭代中逐步提升性能。
• 该方法利用架构到性能的流形结构，聚焦于预测准确率更高的区域，减少对全面评估的需求。
• 迭代过程持续进行直至收敛或达到预设的采样预算，确保对高性能架构的高效探索。

实验结果

研究问题

• RQ1 尽管个体准确率有限，一系列弱预测器是否能在NAS中超越单一复杂预测器？
• RQ2 通过弱预测器进行的迭代优化如何提升架构搜索的效率与准确性？
• RQ3 由弱预测器引导的渐进式采样策略是否能在标准NAS基准上带来更好的性能？
• RQ4 该方法是否能以极低的样本使用量在大规模数据集（如ImageNet）上实现最先进结果？
• RQ5 在序列化搜索框架中，预测器质量与采样更优架构的概率之间存在何种关系？

主要发现

• 所提方法在NAS-Bench-101和NAS-Bench-201上实现了最先进性能，且架构评估次数显著少于先前方法。
• 通过弱预测器的迭代优化，该方法显著减少了找到高性能架构所需的样本数量。
• 在ImageNet搜索空间中，该方法以极少数训练运行次数实现了最先进准确率，展现出良好的可扩展性。
• 弱预测器在迭代过程中表现出采样更优架构能力的单调递增，验证了核心设计原则。
• 在标准基准上，该方法在样本效率和最终架构性能方面均优于现有基于预测器的NAS方法。