[论文解读] StacNAS: Towards Stable and Consistent Differentiable Neural Architecture Search

Guilin Li, Xing Zhang+3 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Neural Network Applications被引用 5

一句话总结

StacNAS 提出了一种分层搜索算法，通过解决操作符相关性和优化复杂度差距，增强了可微神经架构搜索中的稳定性和一致性。通过将相似操作符聚类并匹配代理训练与最终训练的复杂度，StacNAS 在 CIFAR-10、CIFAR-100 和 ImageNet 的五个基于细胞的搜索空间中均实现了最先进（SOTA）的准确率。

ABSTRACT

Recently, the efficiency of automatic neural architecture design has been significantly improved by gradient-based search methods such as DARTS. However, recent literature has brought doubt to the generalization ability of DARTS, arguing that DARTS performs poorly when the search space is changed, i.e, when different set of candidate operators are used. Regularization techniques such as early stopping have been proposed to partially solve this problem. In this paper, we tackle this problem from a different perspective by identifying two contributing factors to the collapse of DARTS when the search space changes: (1) the correlation of similar operators incurs unfavorable competition among them and makes their relative importance score unreliable and (2) the optimization complexity gap between the proxy search stage and the final training. Based on these findings, we propose a new hierarchical search algorithm. With its operator clustering and optimization complexity match, the algorithm can consistently find high-performance architecture across various search spaces. For all the five variants of the popular cell-based search spaces, the proposed algorithm always obtains state-of-the-art architecture with best accuracy on the CIFAR-10, CIFAR-100 and ImageNet over other well-established DARTS-alike algorithms. Code is available at this https URL.

研究动机与目标

• 解决当搜索空间配置改变时 DARTS 的不稳定性和泛化能力差的问题。
• 识别出相关操作符会导致不可靠的重要性评分，从而阻碍神经架构搜索。
• 缓解代理搜索阶段与最终训练阶段之间的优化复杂度差距。
• 开发一种方法，可在多种搜索空间中持续找到高性能架构。
• 在不依赖启发式正则化技术的前提下，实现在标准基准上的最先进性能。

提出的方法

• 引入操作符聚类，将相似操作归为一组，以减少搜索过程中的有害竞争。
• 设计一种分层搜索空间，使聚类后的操作符在搜索过程中被视为原子单元。
• 通过调整层数和通道数，使代理任务的优化复杂度与最终训练阶段保持一致。
• 采用可微搜索框架并使用可学习的架构参数，但对搜索空间结构进行修改以提升稳定性。
• 在代理数据集上训练架构，同时匹配最终模型的深度与宽度，以减少分布偏移。
• 使用基于梯度的搜索方法，并通过重参数化操作，实现架构的端到端优化。

实验结果

研究问题

• RQ1 为何当搜索空间被修改，特别是引入不同候选操作符时，DARTS 会失效？
• RQ2 操作符相关性如何影响可微 NAS 中架构重要性评分的可靠性？
• RQ3 代理阶段与最终训练阶段之间的优化复杂度差距在多大程度上降低搜索性能？
• RQ4 分层操作符聚类能否提升可微 NAS 在多种搜索空间中的稳定性和一致性？
• RQ5 将代理阶段与最终训练阶段的优化复杂度相匹配，是否能带来更好的泛化能力和更高的准确率？

主要发现

• StacNAS 在 CIFAR-10、CIFAR-100 和 ImageNet 的所有五个基于细胞的搜索空间变体中均持续实现了最先进（SOTA）的准确率。
• 所提出的方法在所有基准测试中均优于广泛使用的 DARTS 类算法，展现出在不同搜索空间配置下的优越泛化能力。
• 操作符聚类减少了相关操作的负面影响，使架构搜索动态更加可靠。
• 将代理阶段与最终训练阶段的优化复杂度相匹配，显著提升了搜索阶段与评估阶段的一致性。
• 该方法在不依赖早停等启发式技术的情况下实现了稳定性能，表明其具有内在鲁棒性。
• 代码已公开，支持可复现性，并推动稳定可微 NAS 领域的进一步研究。