[论文解读] Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap

Lingxi Xie, Xin Chen+9 more|arXiv (Cornell University)|Aug 4, 2020

Advanced Neural Network Applications参考文献 511被引用 28

一句话总结

本文研究了权重共享神经架构搜索（NAS）中的优化差距问题，即超级网络虽经优化却无法泛化至子架构。文章根据现有方法缩小该差距的策略进行分类，提出统一框架，并将不稳定性识别为核心挑战，为未来AutoML研究提出建议。

ABSTRACT

Neural architecture search (NAS) has attracted increasing attentions in both academia and industry. In the early age, researchers mostly applied individual search methods which sample and evaluate the candidate architectures separately and thus incur heavy computational overheads. To alleviate the burden, weight-sharing methods were proposed in which exponentially many architectures share weights in the same super-network, and the costly training procedure is performed only once. These methods, though being much faster, often suffer the issue of instability. This paper provides a literature review on NAS, in particular the weight-sharing methods, and points out that the major challenge comes from the optimization gap between the super-network and the sub-architectures. From this perspective, we summarize existing approaches into several categories according to their efforts in bridging the gap, and analyze both advantages and disadvantages of these methodologies. Finally, we share our opinions on the future directions of NAS and AutoML. Due to the expertise of the authors, this paper mainly focuses on the application of NAS to computer vision problems and may bias towards the work in our group.

研究动机与目标

• 识别并分析权重共享NAS中不稳定的根源，特别是超级网络与子架构之间优化差距的问题。
• 基于其缩小该优化差距的方法，对现有NAS方法进行系统性分类。
• 通过将搜索策略与评估方法整合到单一分析框架中，为权重共享NAS提供统一视角。
• 通过突出未解决的挑战和有前景的方向，为未来NAS和AutoML研究提供指导。
• 聚焦于计算机视觉应用，反映作者在视觉特定NAS进展方面的专业背景与倾向。

提出的方法

• 将NAS形式化为在共享所有候选架构权重的超级网络中寻找最优子架构的问题。
• 提出一个统一框架，按方法缩小优化差距的策略对NAS方法进行分组，强调搜索策略与评估之间的耦合。
• 通过弥合超级网络与子架构性能差距的视角，分析现有方法。
• 根据其解决优化差距的方式，将方法分类，例如架构正则化、动态训练和基于梯度的优化。
• 通过实证分析与文献综述，比较不同技术在稳定NAS训练方面的有效性。
• 提出一个概念模型，其中超级网络的优化必须与子架构的泛化对齐，以确保可靠的搜索结果。

实验结果

研究问题

• RQ1 权重共享NAS中的不稳定性由何引起，其与优化差距有何关联？
• RQ2 不同NAS方法如何尝试弥合超级网络与子架构性能之间的差距？
• RQ3 当前策略在最小化优化差距方面具有哪些优势与局限性？
• RQ4 如何利用搜索策略与评估之间的耦合来提升NAS的可靠性？
• RQ5 基于此分析，NAS与AutoML的关键挑战与未来方向是什么？

主要发现

• 权重共享NAS中不稳定的首要原因是优化差距——即经过良好优化的超级网络无法产生高性能的子架构。
• 近期NAS方法已将搜索成本降低至CIFAR-10仅需0.1 GPU天，ImageNet仅需2.0 GPU天，但不稳定性仍是主要瓶颈。
• 那些显式对齐超级网络训练与子架构性能的方法表现出更高的稳定性和更高的搜索准确率。
• 搜索策略与评估之间的耦合至关重要：若二者脱钩，将导致泛化能力差和不可靠的架构发现。
• 现有方法在有效性上存在差异，部分依赖基于梯度的搜索，另一些则采用强化学习或Bandit优化，但所有方法都必须解决核心的差距问题。
• 本文结论认为，未来NAS研究必须优先关注从超级网络到子架构的泛化能力，倡导采用更优的评估指标和架构归纳偏置。