[论文解读] Understanding and Improving One-shot Neural Architecture Optimization.

Renqian Luo, Tao Qin+1 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Neural Network Applications参考文献 28被引用 14

一句话总结

该论文提出 NAO-V2，一种一次性的神经架构搜索方法，通过增加单个架构的更新次数、按模型大小成比例采样架构，并在每次迭代中解耦超网络训练，从而提升排名稳定性。在移动设置下，其在 CIFAR-10 上实现 2.60% 的测试误差，在 ImageNet 上实现 74.4% 的 top-1 准确率，达到当前最优性能。

ABSTRACT

The ability of accurately ranking candidate architectures is the key to the performance of neural architecture search~(NAS). One-shot NAS is proposed to cut the expense but shows inferior performance against conventional NAS and is not adequately stable. We find that the ranking correlation between architectures under one-shot training and the ones under stand-alone training is poor, which misleads the algorithm to discover better architectures. We conjecture that this is owing to the gaps between one-shot training and stand-alone complete training. In this work, we empirically investigate several main factors that lead to the gaps and so weak ranking correlation. We then propose NAO-V2 to alleviate such gaps where we: (1) Increase the average updates for individual architecture to a relatively adequate extent. (2) Encourage more updates for large and complex architectures than small and simple architectures to balance them by sampling architectures in proportion to their model sizes. (3) Make the one-shot training of the supernet independent at each iteration. Comprehensive experiments verify that our proposed method is effective and robust. It leads to a more stable search that all the top architectures perform well enough compared to baseline methods. The final discovered architecture shows significant improvements against baselines with a test error rate of 2.60% on CIFAR-10 and top-1 accuracy of 74.4% on ImageNet under the mobile setting. Code and model checkpoints are publicly available at https://github.com/renqianluo/NAO_pytorch.

研究动机与目标

• 解决神经架构搜索（NAS）中一次性训练与独立训练之间排名相关性差的问题。
• 探究一次性训练与完整训练范式之间性能差距的根本原因。
• 通过减少架构排名差异，提升一次性 NAS 的可靠性和稳定性。
• 开发一种方法，可在多个基准上持续发现高性能架构。
• 在移动约束条件下，实现在 CIFAR-10 和 ImageNet 上的最先进准确率。

提出的方法

• 将每个个体架构的平均参数更新次数提升至更充分的水平，以改善收敛性和排名保真度。
• 通过按模型大小成比例采样架构，平衡不同架构间的更新频率，优先考虑更大、更复杂的模型。
• 在每次迭代中解耦超网络训练过程，以避免梯度干扰并提升训练独立性。
• 维持单一超网络，联合训练所有候选架构并共享权重，但采用受控且均衡的更新调度。
• 使用可微分的搜索空间并共享权重，但调整训练动态以减少一次性训练与完整训练之间的分布偏移。
• 在采样过程中应用重加权策略，确保较大架构能根据其复杂度获得足够的训练更新。

实验结果

研究问题

• RQ1 NAS 中一次性训练与独立训练之间排名相关性差的原因是什么？
• RQ2 训练动态和更新频率的差异如何影响架构排名的稳定性？
• RQ3 基于模型大小调整更新频率是否能提升架构性能排名的一致性？
• RQ4 每轮迭代中解耦超网络训练是否能减少梯度干扰并提升排名保真度？
• RQ5 在一次性 NAS 中改进训练动态后，其性能能在多大程度上匹配或超越完整训练？

主要发现

• NAO-V2 在 CIFAR-10 上实现 2.60% 的测试误差率，显著优于先前的一次性 NAS 方法。
• 在移动设置下的 ImageNet 上，NAO-V2 达到 74.4% 的 top-1 准确率，展现出强大的泛化能力和效率。
• 所提方法显著提升了架构搜索的稳定性，所有顶级架构在多次运行中表现一致。
• 增加更新频率并按模型大小成比例采样，能显著提升与完整训练的排名相关性。
• 每轮迭代中解耦训练可减少梯度冲突，提升架构性能估计的可靠性。
• 该方法在多个基准和设置下均表现稳健，且已公开发布代码和模型检查点以支持可复现性。