[论文解读] NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search

Wei Chen, Chuang Niu+4 more|arXiv (Cornell University)|Mar 28, 2020

Neural Networks and Applications被引用 16

一句话总结

NPENAS 提出了一种神经预测器引导的进化算法，用于神经架构搜索（NAS），通过使用两个基于图的神经预测器（一个用于贝叶斯优化，即 NPENAS-BO；一个用于直接性能预测，即 NPENAS-NP）来增强探索能力。该方法在 NASBench-201 上实现了最先进性能（2.64% 错误率），并在 NASBench-101 和 DARTS 上以更低的搜索成本超越了现有方法，得益于高效的架构采样和代理建模。

ABSTRACT

Neural architecture search (NAS) is a promising method for automatically design neural architectures. NAS adopts a search strategy to explore the predefined search space to find outstanding performance architecture with the minimum searching costs. Bayesian optimization and evolutionary algorithms are two commonly used search strategies, but they suffer from computationally expensive, challenge to implement or inefficient exploration ability. In this paper, we propose a neural predictor guided evolutionary algorithm to enhance the exploration ability of EA for NAS (NPENAS) and design two kinds of neural predictors. The first predictor is defined from Bayesian optimization and we propose a graph-based uncertainty estimation network as a surrogate model that is easy to implement and computationally efficient. The second predictor is a graph-based neural network that directly outputs the performance prediction of the input neural architecture. The NPENAS using the two neural predictors are denoted as NPENAS-BO and NPENAS-NP respectively. In addition, we introduce a new random architecture sampling method to overcome the drawbacks of the existing sampling method. Extensive experiments demonstrate the superiority of NPENAS. Quantitative results on three NAS search spaces indicate that both NPENAS-BO and NPENAS-NP outperform most existing NAS algorithms, with NPENAS-BO achieving state-of-the-art performance on NASBench-201 and NPENAS-NP on NASBench-101 and DARTS, respectively.

研究动机与目标

• 为解决现有基于贝叶斯优化和进化算法的 NAS 方法计算成本过高且探索效率有限的问题。
• 通过集成神经预测器作为性能代理，增强进化算法在神经架构搜索中的探索能力。
• 设计一种计算高效且端到端可训练的代理模型，用于 NAS 中的贝叶斯优化，克服高斯过程和集成模型的局限性。
• 提出一种新颖的随机架构采样方法，以提升搜索效率与稳定性。
• 在多个 NAS 基准（包括 NASBench-101、NASBench-201 和 DARTS）上验证所提方法的有效性与鲁棒性。

提出的方法

• 提出 NPENAS，一种由神经预测器引导的进化算法，以提升探索效率并减少对昂贵训练评估的依赖。
• 引入一种基于图的不确定性估计网络作为贝叶斯优化的代理模型，输出均值与标准差，用于获取函数排序。
• 设计一种基于图的神经预测器，直接从架构嵌入预测架构性能，实现对后代的快速排序。
• 采用一种新颖的架构采样策略，以提升候选生成的多样性并减少冗余。
• 使用图同构网络（GIN）结合激活函数与批量归一化，将神经架构编码为可学习表征。
• 通过全局最大池化与全连接层实现图读出，生成最终预测结果或不确定性估计。

实验结果

研究问题

• RQ1 神经预测器能否提升进化算法在神经架构搜索中的探索效率？
• RQ2 与传统的高斯过程等模型相比，基于图的代理模型在贝叶斯优化中的准确性与效率如何？
• RQ3 直接性能预测模型是否优于基于获取函数的方法？
• RQ4 新的采样策略能否减少冗余并提升 NAS 中的搜索稳定性？
• RQ5 NPENAS 在多个基准上与最先进 NAS 方法相比，在准确率与搜索成本方面表现如何？

主要发现

• NPENAS-BO 在 NASBench-201 上实现 2.64% ± 0.08 的 top-1 错误率，创下新的最先进性能记录。
• NPENAS-NP 在 NASBench-101 上实现 2.54% ± 0.10 的 top-1 错误率，优于该基准上的现有方法。
• 在 DARTS 搜索空间中，NPENAS-NP 仅用 100 次搜索周期即实现 2.44% 的 top-1 错误率，展现出强大的泛化能力与效率。
• NPENAS-BO 与 NPENAS-NP 在重复实验中表现出高度稳定性，不同随机种子与 GPU 配置下性能一致。
• 所提出的采样方法提升了搜索效率，降低了架构选择中的方差，有助于实现更可靠的收敛。
• 基于图的神经预测器能有效捕捉架构语义，实现在极低计算开销下的高精度性能预测。