[论文解读] Powering One-shot Topological NAS with Stabilized Share-parameter Proxy

Ronghao Guo, Lin Chen+5 more|arXiv (Cornell University)|May 21, 2020

Advanced Neural Network Applications参考文献 48被引用 7

一句话总结

该论文提出了一种稳定化拓扑神经架构搜索（ST-NAS），一种一次性NAS方法，可在超过3.4×10¹⁰种架构的大规模、拓扑增强型搜索空间中实现高效搜索。通过使用随机梯度Langevin动力学（SGLD）稳定共享参数估计，ST-NAS在仅326M MAdds下实现了76.4%的ImageNet top-1准确率（ST-NAS-A），在503M MAdds下实现了77.9%的准确率（ST-NAS-B），在相似计算约束下优于以往的一次性NAS与基于采样的NAS方法，达到最先进性能。

ABSTRACT

One-shot NAS method has attracted much interest from the research community due to its remarkable training efficiency and capacity to discover high performance models. However, the search spaces of previous one-shot based works usually relied on hand-craft design and were short for flexibility on the network topology. In this work, we try to enhance the one-shot NAS by exploring high-performing network architectures in our large-scale Topology Augmented Search Space (i.e., over 3.4*10^10 different topological structures). Specifically, the difficulties for architecture searching in such a complex space has been eliminated by the proposed stabilized share-parameter proxy, which employs Stochastic Gradient Langevin Dynamics to enable fast shared parameter sampling, so as to achieve stabilized measurement of architecture performance even in search space with complex topological structures. The proposed method, namely Stablized Topological Neural Architecture Search (ST-NAS), achieves state-of-the-art performance under Multiply-Adds (MAdds) constraint on ImageNet. Our lite model ST-NAS-A achieves 76.4% top-1 accuracy with only 326M MAdds. Our moderate model ST-NAS-B achieves 77.9% top-1 accuracy just required 503M MAdds. Both of our models offer superior performances in comparison to other concurrent works on one-shot NAS.

研究动机与目标

• 解决一次性NAS中手工设计、结构僵化的搜索空间对网络拓扑多样性造成的限制。
• 实现在包含超过3.4×10¹⁰种不同拓扑结构的大型、拓扑增强型搜索空间中的有效架构搜索。
• 通过减少共享参数估计中的方差，稳定权重共享下的架构性能排序。
• 在严格乘加（MAdds）约束下，通过一次性NAS框架实现ImageNet上的最先进准确率。

提出的方法

• 提出一种拓扑增强型搜索空间，其中边由节点之间的计算模块定义，支持对复杂非链式网络拓扑的探索。
• 引入一种基于拓扑的架构采样器，在一次性训练期间从超网络中采样架构。
• 采用随机梯度Langevin动力学（SGLD）高效采样共享参数，并估计架构性能的期望值。
• 利用多个SGLD样本中共享参数的期望值，稳定性能评估并降低排序方差。
• 采用多轮次评估策略计算性能期望值，提升架构排序的可靠性。
• 设计一种在所有候选架构间共享权重的超网络，通过权重共享实现快速评估。

实验结果

研究问题

• RQ1 与传统刚性搜索空间相比，大规模、拓扑多样的搜索空间是否能显著提升一次性NAS的性能？
• RQ2 在复杂拓扑搜索空间中，如何减少共享参数估计的性能方差，以确保架构排序的可靠性？
• RQ3 通过SGLD稳定共享参数估计是否能提升一次性NAS中架构性能预测的准确度与一致性？
• RQ4 在严格MAdds约束下，通过稳定代理的一次性NAS能否在ImageNet上实现最先进准确率？
• RQ5 所搜索的架构在COCO目标检测等下游任务上的迁移性能如何？

主要发现

• ST-NAS-A在仅326M MAdds下于ImageNet上实现76.4%的top-1准确率，优于所有相同计算约束下的先前一次性NAS方法。
• ST-NAS-B在503M MAdds下实现77.9%的top-1准确率，超越基于采样的NAS与人工设计的ResNet50模型，且仅使用其四分之一的FLOPs。
• 基于SGLD的稳定化方法在排序一致性上达到Kendall’s tau为0.84，显著优于单检查点（0.71）与微调基线（0.64）。
• 在COCO目标检测任务中，ST-NAS-A在与MobileNetV2（0.33G）相同MAdds下实现33.2 AP，领先1.5个百分点。
• 所搜索的架构ST-NAS-B*（缩放后）在COCO上实现37.7 AP，超过ResNet50（36.9 AP），且仅使用其25%的MAdds。
• 消融实验验证，基于SGLD的参数期望能有效降低方差并提升排序可靠性，证实了核心稳定机制的有效性。