[论文解读] Neural Architecture Search without Training

Joseph Mellor, Jack Turner+2 more|Edinburgh Research Explorer|Jun 8, 2020

Advanced Neural Network Applications参考文献 41被引用 44

一句话总结

本文提出 NASWOT，一种训练-free 神经网络架构搜索方法，使用激活模式重叠来对未训练的网络进行评分，使架构搜索极快，并在多个 NAS 基准测试上取得具有竞争力的结果。

ABSTRACT

The time and effort involved in hand-designing deep neural networks is immense. This has prompted the development of Neural Architecture Search (NAS) techniques to automate this design. However, NAS algorithms tend to be slow and expensive; they need to train vast numbers of candidate networks to inform the search process. This could be alleviated if we could partially predict a network's trained accuracy from its initial state. In this work, we examine the overlap of activations between datapoints in untrained networks and motivate how this can give a measure which is usefully indicative of a network's trained performance. We incorporate this measure into a simple algorithm that allows us to search for powerful networks without any training in a matter of seconds on a single GPU, and verify its effectiveness on NAS-Bench-101, NAS-Bench-201, NATS-Bench, and Network Design Spaces. Our approach can be readily combined with more expensive search methods; we examine a simple adaptation of regularised evolutionary search. Code for reproducing our experiments is available at https://github.com/BayesWatch/nas-without-training.

研究动机与目标

• 通过从初始网络状态预测最终性能来激励降低 NAS 的训练负担。
• 基于未训练网络中的激活模式开发一个无需训练的评分指标。
• 展示一个快速的 NAS 算法（NASWOT），并展示其如何与现有的搜索方法互补。
• 在多个 NAS 基准（NAS-Bench-101、NAS-Bench-201、NATS-Bench）以及网络设计空间（NDS）上验证该方法。
• 探索将该评分指标整合到更昂贵的搜索策略中（如正则化进化搜索）。

提出的方法

• 在未训练的网络中为 ReLU 单元定义二进制激活码，以识别线性区域。
• 从激活码之间的海明距离构造核矩阵 K_H。
• 定义一个无需训练的分数 s = log|K_H|，表示对角偏向的核以获得更高的预测准确性。
• 使用 Kendall 的 Tau 实证地将 s 与在不同 NAS 空间中的最终训练精度相关联。
• 将 s 集成到一个简单的 NASWOT 搜索中，通过采样 N 个架构并选择得分最高的一个。
• 通过用 NASWOT 得分来引导种群初始化，展示 AREA（辅助正则化进化算法）对 Regularised EA 的辅助作用。

实验结果

研究问题

• RQ1 未训练网络的激活模式是否可以作为其最终训练精度的可靠代理？
• RQ2 是否存在一个鲁棒、对数据与初始化不敏感的评分指标，能够在不同的 NAS 空间中预测最终性能？
• RQ3 在依赖无训练信号时，NAS 搜索可以多快，以及与训练基线相比如何？
• RQ4 能否将无需训练的分数集成到现有的 NAS 算法中，以在不牺牲准确性的情况下提高效率？
• RQ5 无需训练的方法是否能推广到不同的数据集和网络设计空间（NAS-Bench-101、NAS-Bench-201、NATS-Bench、NDS）？

主要发现

• 一个简单的分数 s = log|K_H|，基于激活码的核，能够在各 NAS 空间中与最终精度呈正相关。
• NASWOT 在单个 GPU 上以秒级时间获得具有竞争力的最终精度（如 CIFAR-10），超过一些权重共享方法，在速度上接近非权重共享基线。
• 在消融研究中，该分数对小批量选择、输入数据类型、初始化具有鲁棒性，并且随小批量规模的增加而合理扩展。
• 该分数在训练初期就上升但趋于稳定，保持网络排序，支持其作为预测代理的作用。
• AREA 展示了 NASWOT 的分数如何作为种子来促进进化搜索，在 NAS-Bench 基准上提高相对于标准 REA 的搜索效率。