[论文解读] NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture\n Search

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|Jan 2, 2020

Advanced Neural Network Applications被引用 290

一句话总结

本论文介绍 NAS-Bench-201，这是一个固定单元格基础的搜索空间基准，在三个数据集上评估了 15,625 个架构，并提供丰富的训练日志和诊断数据，以实现公平的 NAS 算法比较并重复利用已训练的模型参数。

ABSTRACT

Neural architecture search (NAS) has achieved breakthrough success in a great\nnumber of applications in the past few years. It could be time to take a step\nback and analyze the good and bad aspects in the field of NAS. A variety of\nalgorithms search architectures under different search space. These searched\narchitectures are trained using different setups, e.g., hyper-parameters, data\naugmentation, regularization. This raises a comparability problem when\ncomparing the performance of various NAS algorithms. NAS-Bench-101 has shown\nsuccess to alleviate this problem. In this work, we propose an extension to\nNAS-Bench-101: NAS-Bench-201 with a different search space, results on multiple\ndatasets, and more diagnostic information. NAS-Bench-201 has a fixed search\nspace and provides a unified benchmark for almost any up-to-date NAS\nalgorithms. The design of our search space is inspired from the one used in the\nmost popular cell-based searching algorithms, where a cell is represented as a\nDAG. Each edge here is associated with an operation selected from a predefined\noperation set. For it to be applicable for all NAS algorithms, the search space\ndefined in NAS-Bench-201 includes all possible architectures generated by 4\nnodes and 5 associated operation options, which results in 15,625 candidates in\ntotal. The training log and the performance for each architecture candidate are\nprovided for three datasets. This allows researchers to avoid unnecessary\nrepetitive training for selected candidate and focus solely on the search\nalgorithm itself. The training time saved for every candidate also largely\nimproves the efficiency of many methods. We provide additional diagnostic\ninformation such as fine-grained loss and accuracy, which can give inspirations\nto new designs of NAS algorithms. In further support, we have analyzed it from\nmany aspects and benchmarked 10 recent NAS algorithms.\n

研究动机与目标

• 提供一个固定、算法无关的基于单元格的搜索空间，用于可重复的 NAS 评估。
• 为每个架构在多个数据集上提供训练日志、准确率和损失数据，以避免重复训练。
• 提供额外的诊断信息（参数、FLOPs、延迟、细粒度的训练动态），以指导 NAS 设计。
• 在标准化数据集上实现对多种 NAS 算法的基准测试和公平比较。

提出的方法

• 定义一个固定的 4 节点密集连接的有向无环图(DAG) 单元，每条边有 5 种操作选项（zeroize、skip、1x1 卷积、3x3 卷积、3x3 均值池化）。
• 将单元拼接成一个标准的宏骨架，包含三个阶段和一个可与现代基于单元的 NAS 方法相当的残差下采样模块。
• 使用统一的训练协议和训练轮次，在 CIFAR-10、CIFAR-100 和 ImageNet-16-120 上训练并评估每个架构候选（共 15,625 个）。
• 为每个架构和运行提供完整的训练日志（每个 epoch 的损失/准确率）、参数数量、FLOPs 和延迟。
• 在 NAS-Bench-201 上对 10 种 NAS 算法（强化学习 RL、进化策略 ES、可微分、超参数优化 HPO）进行基准测试，以评估加速和可迁移性。

实验结果

研究问题

• RQ1 固定且全面的 NAS 单元空间如何实现对不同 NAS 算法的更公平比较？
• RQ2 在 NAS-Bench-201 内，架构在 CIFAR-10、CIFAR-100 和 ImageNet-16-120 上的性能分布和可迁移性如何？
• RQ3 NAS 算法是否能够利用基准的预计算结果在不重新训练架构的情况下实现显著的加速？
• RQ4 哪些诊断信息可以为设计更健壮高效的 NAS 方法提供帮助？

主要发现

• NAS-Bench-201 空间包含 15,625 个候选单元，并支持在三组数据集上进行评估。
• 可以在统一、可重复的框架中对广泛的 NAS 方法进行基准测试，训练设置一致。
• 在该空间内，DARTS 变体和参数共享方法对 BN 处理和训练超参数表现出敏感性。
• 非参数共享的 NAS 方法（REA、RS、REINFORCE、BOHB）在细粒度训练信号和较短的运行时间下也能获得较强的排名。
• 该基准在跨数据集上通常能保持一致的架构排名，并在直接将架构迁移到不同数据集时突出可迁移性挑战。