[论文解读] NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|Jan 2, 2020

Advanced Neural Network Applications参考文献 35被引用 83

一句话总结

本文介绍 NAS-Bench-201，这是一个固定单元（cell）为基础的搜索空间基准，包含 15,625 个架构，在 CIFAR-10、CIFAR-100 以及 ImageNet-16-120 上进行评估，并附带诊断数据，便于对 NAS 算法进行公平比较。

ABSTRACT

Neural architecture search (NAS) has achieved breakthrough success in a great number of applications in the past few years. It could be time to take a step back and analyze the good and bad aspects in the field of NAS. A variety of algorithms search architectures under different search space. These searched architectures are trained using different setups, e.g., hyper-parameters, data augmentation, regularization. This raises a comparability problem when comparing the performance of various NAS algorithms. NAS-Bench-101 has shown success to alleviate this problem. In this work, we propose an extension to NAS-Bench-101: NAS-Bench-201 with a different search space, results on multiple datasets, and more diagnostic information. NAS-Bench-201 has a fixed search space and provides a unified benchmark for almost any up-to-date NAS algorithms. The design of our search space is inspired from the one used in the most popular cell-based searching algorithms, where a cell is represented as a DAG. Each edge here is associated with an operation selected from a predefined operation set. For it to be applicable for all NAS algorithms, the search space defined in NAS-Bench-201 includes all possible architectures generated by 4 nodes and 5 associated operation options, which results in 15,625 candidates in total. The training log and the performance for each architecture candidate are provided for three datasets. This allows researchers to avoid unnecessary repetitive training for selected candidate and focus solely on the search algorithm itself. The training time saved for every candidate also largely improves the efficiency of many methods. We provide additional diagnostic information such as fine-grained loss and accuracy, which can give inspirations to new designs of NAS algorithms. In further support, we have analyzed it from many aspects and benchmarked 10 recent NAS algorithms.

研究动机与目标

• 提供一个固定的、与算法无关的搜索空间，以实现对公平 NAS 算法比较。
• 提供跨多个数据集的架构性能数据以评估可迁移性。
• 提供丰富的诊断信息（损失/准确率轨迹、参数、FLOPs、延迟）以指导 NAS 设计。
• 通过评估一系列当代 NAS 方法来展示基准的实用性。
• 促进 NAS 研究中的可重复性和更快的算法开发。

提出的方法

• 定义一个受到流行的基于单元的 NAS 方法启发的固定单元搜索空间，该空间由一个具有 4 个节点的有向无环图（DAG）组成，每条边有 5 个候选操作，总共 15,625 个单元候选。
• 在统一的训练协议下，在三个数据集（CIFAR-10、CIFAR-100、ImageNet-16-120）上训练并评估每一个架构候选。
• 提供完整的训练日志、最终及中间性能指标（损失/准确率），以及架构诊断信息（参数、FLOPs、延迟）。
• 对一组 10 种 NAS 算法（随机搜索、进化方法、强化学习、可微分方法、超参数优化）进行基准测试，以建立基线和洞察。
• 强调训练策略（BN 行为、超参数）对搜索结果和排序稳定性的影响。

实验结果

研究问题

• RQ1 一个固定的、全面的基于单元的搜索空间是否能够实现对多样化 NAS 算法的公平且可重复的比较？
• RQ2 NAS-Bench-201 中的架构在多数据集中表现如何，以及数据集之间的排名可迁移性有多大？
• RQ3 哪些诊断信息可以在超越最终准确率的基础上为更好的 NAS 算法设计提供信息？
• RQ4 在直接访问预计算的架构性能时，不同的 NAS 算法在搜索效率上表现如何？
• RQ5 哪些因素影响 NAS 研究结果在不同数据集和训练设置下的泛化？

主要发现

• NAS-Bench-201 提供一个固定的、与算法无关的基准，通过返回预计算的架构性能实现快速评估。
• 架构的性能不仅取决于参数数量；连接拓扑结构和操作选择对结果有强烈影响。
• 架构排名在 CIFAR-10、CIFAR-100 与 ImageNet-16-120 之间总体一致，但存在数据集特异性方差。
• 在不进行适配的情况下，将最优架构在数据集之间迁移并不能保证最佳性能，强调了可迁移 NAS 方法的必要性。
• 在没有参数共享的情况下，某些 NAS 方法（例如 REA、RS、REINFORCE、BOHB）在基准的训练 regime 下可能优于其他方法。
• BN 处理（批统计量与滑动估计值）显著影响使用参数共享的 NAS 方法。