[论文解读] Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics

Wuyang Chen, Xinyu Gong+6 more|arXiv (Cornell University)|Aug 26, 2021

Advanced Neural Network Applications参考文献 75被引用 7

一句话总结

本文提出 TEG-NAS，一种统一的、无需训练的神经架构搜索（NAS）框架，通过理论驱动的度量方法将网络性能解耦为三个可解释的组成部分——可训练性（Trainability）、表征能力（Expressivity）和泛化能力（Generalization）（统称为 TEG）。该框架利用这些度量指导多种 NAS 方法（如 REINFORCE、进化算法、FP-NAS）的搜索，在实现超过 56% 的搜索加速的同时，提升了准确率，包括在 ImageNet 上使用 FP-NAS 实现了当前最优的 top-1 准确率。

ABSTRACT

This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.

研究动机与目标

• 解决现有 NAS 方法依赖截断训练或代理度量所固有的高计算成本与搜索偏差问题。
• 开发一种统一的、与搜索方法无关的框架，实现在多种 NAS 范式（包括超网络与单路径方法）中无需训练的性能预测。
• 通过在多维架构空间中可视化搜索轨迹，实现对 NAS 搜索过程的更深层次可解释性。
• 在无需梯度更新的前提下实现高效且有效的 NAS，避免由参数共享或早停带来的归纳偏差。
• 建立一个基于理论的、原则性的 NAS 度量基础，其与最终网络准确率具有强相关性。

提出的方法

• 引入三种无需训练的度量：$\hat{\kappa}$ 表示可训练性（通过神经正切核测量），$\hat{R}$ 表示表征能力（通过线性区域数量测量），MSE 表示泛化能力（通过输入-输出雅可比矩阵方差测量）。
• 构建统一的 NAS 框架 TEG-NAS，将这三项度量结合，实现无需任何训练或反向传播的架构排序。
• 将 TEG 框架应用于多种 NAS 搜索算法——REINFORCE、进化算法与 FP-NAS——验证其兼容性与可扩展性。
• 在三维 TEG 空间（可训练性-表征能力-泛化能力）中可视化搜索轨迹，分析架构空间的几何结构与收敛行为。
• 通过消融研究与 1 个周期训练基线的对比，在标准基准（NAS-Bench-201、DARTS）上对度量进行校准与验证。
• 将度量用作强化学习与进化搜索中的奖励信号，替代传统的基于准确率的奖励。

实验结果

研究问题

• RQ1 能否仅使用捕捉网络基本属性的无需训练度量——可训练性、表征能力与泛化能力——来引导 NAS，而无需任何训练？
• RQ2 与依赖 1 个周期或截断训练的标准 NAS 方法相比，TEG 度量在性能与效率方面表现如何？
• RQ3 TEG 框架在不同 NAS 搜索算法（包括超网络与单路径方法）中的泛化能力如何？
• RQ4 架构搜索空间的几何结构（如 NAS-Bench-201 与 DARTS）如何影响在 TEG 度量引导下的搜索收敛性？
• RQ5 在 TEG 空间中可视化搜索轨迹，能否为复杂搜索空间中 NAS 的行为与挑战提供新的洞见？

主要发现

• TEG-NAS 框架将搜索时间相比基线方法减少了超过 56%，所有无需训练的 REINFORCE、进化算法与 FP-NAS 版本在 ImageNet 上均于半个工作 GPU 日内完成搜索。
• 在 ImageNet 上，配备 TEG-NAS 的 FP-NAS 实现了 21.8% 的 top-1 错误率，优于以往方法，创下无需训练 NAS 的新 SOTA 记录。
• 在 NAS-Bench-201 上的消融研究显示，结合全部三项 TEG 度量（$\hat{\kappa}$、$\hat{R}$ 与 MSE）可达到 70.42% 的测试准确率，优于任一单一度量或 1 个周期训练基线（68.4%）。
• 在 DARTS 搜索空间中，架构空间具有复杂的几何结构，使得在 TEG 特性之间实现平衡比在 NAS-Bench-201 上更困难，后者具有更简单的拓扑结构与更易收敛的特性。
• TEG 框架实现了在三维 TEG 空间中的搜索轨迹可视化，揭示了在如 NAS-Bench-201 这类更简单的搜索空间中，更易找到优质局部极小值。
• 无需训练的度量，尤其是 $\hat{\kappa}$ 与 $\hat{R}$，与最终网络准确率表现出强相关性，验证了其理论基础与实际应用价值。