[论文解读] Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

Ming Lin, Pichao Wang+6 more|arXiv (Cornell University)|Feb 1, 2021

Advanced Neural Network Applications参考文献 65被引用 12

一句话总结

本文提出 Zen-NAS，一种零样本神经架构搜索方法，通过一种新颖且计算高效的代理指标 Zen-Score 对架构进行排序，无需训练。Zen-Score 通过在随机初始化的权重上进行少量前向传播来估计网络表达能力，实现在不到半个 GPU 天的时间内完成搜索。Zen-NAS 在 ImageNet 上实现了 83.6% 的最先进 top-1 准确率，优于以往的 NAS 方法和人工设计的模型，且推理速度显著更快，搜索过程中无训练成本。

ABSTRACT

Accuracy predictor is a key component in Neural Architecture Search (NAS) for ranking architectures. Building a high-quality accuracy predictor usually costs enormous computation. To address this issue, instead of using an accuracy predictor, we propose a novel zero-shot index dubbed Zen-Score to rank the architectures. The Zen-Score represents the network expressivity and positively correlates with the model accuracy. The calculation of Zen-Score only takes a few forward inferences through a randomly initialized network, without training network parameters. Built upon the Zen-Score, we further propose a new NAS algorithm, termed as Zen-NAS, by maximizing the Zen-Score of the target network under given inference budgets. Within less than half GPU day, Zen-NAS is able to directly search high performance architectures in a data-free style. Comparing with previous NAS methods, the proposed Zen-NAS is magnitude times faster on multiple server-side and mobile-side GPU platforms with state-of-the-art accuracy on ImageNet. Our source code and pre-trained models are released on https://github.com/idstcv/ZenNAS.

研究动机与目标

• 解决现有 NAS 方法中准确性预测器计算成本过高的问题。
• 消除架构搜索中对训练或超网络构建的需求。
• 开发一种与模型准确率强相关但计算量极小的代理度量指标。
• 实现在大规模数据集（如 ImageNet）上高效、无需数据的高性能图像识别 NAS。
• 与先前方法相比，显著降低搜索成本，同时实现最先进准确率。

提出的方法

• 提出 Zen-Score 作为零样本代理，仅通过在随机初始化权重上进行少量前向传播来估计网络表达能力。
• 使用随机高斯输入计算 Zen-Score，并通过测量各层激活统计量来评估表达能力。
• 设计 Zen-NAS 作为搜索算法，在给定约束（如 FLOPs、延迟、模型大小）下最大化 Zen-Score。
• 采用进化搜索算法，以 Zen-Score 作为目标函数，高效探索架构空间。
• 通过在层间归一化激活统计量，确保对批归一化具有尺度不变性。
• 采用基于残差块和瓶颈块的搜索空间，支持通道数和深度的可配置设置。

实验结果

研究问题

• RQ1 基于随机初始化的零样本代理能否与模型准确率保持强相关性？
• RQ2 Zen-Score 是否能在无需训练或超网络构建的情况下实现 NAS 并保持高性能？
• RQ3 Zen-NAS 是否能在极低搜索成本下于 ImageNet 上实现最先进准确率？
• RQ4 Zen-Score 在不同硬件平台和模型规模下的表现如何？
• RQ5 Zen-Score 是否对批归一化具有鲁棒性，并适用于多种网络架构？

主要发现

• Zen-NAS 在 ImageNet 上实现 83.6% 的 top-1 准确率，搜索时间不足半个 GPU 天，优于以往的 NAS 方法和人工设计的模型。
• 该方法在 CIFAR-10、CIFAR-100 和 ImageNet 上均实现最先进性能，且搜索成本显著降低。
• Zen-NAS 是首个在完整分辨率 ImageNet-1k 数据集上超越基于训练的方法的零样本 NAS 方法。
• Zen-Nets 的推理速度比 EfficientNet-B5 快一个数量级以上，同时保持相同准确率。
• Zen-Score 与模型准确率表现出强正相关性，且对批归一化具有鲁棒性。
• 搜索过程完全无需数据、无需参数，每个架构仅需少量前向传播。