[论文解读] ZARTS: On Zero-order Optimization for Neural Architecture Search

Xiaoxing Wang, Wenxuan Guo+3 more|arXiv (Cornell University)|Oct 10, 2021

Advanced Neural Network Applications参考文献 23被引用 5

一句话总结

ZARTS 提出了一种用于神经架构搜索（NAS）的零阶优化框架，通过避免 DARTS 中有偏的一阶近似，采用无需梯度的方法（如 MGS）实现更稳定、更准确的架构搜索。该方法在 CIFAR-10 上达到 97.54% 的准确率，在 ImageNet 上达到 75.7% 的 top-1 准确率，性能达到当前最先进水平，同时具备更强的鲁棒性，并可与 DARTS 变体兼容以实现进一步提速。

ABSTRACT

Differentiable architecture search (DARTS) has been a popular one-shot paradigm for NAS due to its high efficiency. It introduces trainable architecture parameters to represent the importance of candidate operations and proposes first/second-order approximation to estimate their gradients, making it possible to solve NAS by gradient descent algorithm. However, our in-depth empirical results show that the approximation will often distort the loss landscape, leading to the biased objective to optimize and in turn inaccurate gradient estimation for architecture parameters. This work turns to zero-order optimization and proposes a novel NAS scheme, called ZARTS, to search without enforcing the above approximation. Specifically, three representative zero-order optimization methods are introduced: RS, MGS, and GLD, among which MGS performs best by balancing the accuracy and speed. Moreover, we explore the connections between RS/MGS and gradient descent algorithm and show that our ZARTS can be seen as a robust gradient-free counterpart to DARTS. Extensive experiments on multiple datasets and search spaces show the remarkable performance of our method. In particular, results on 12 benchmarks verify the outstanding robustness of ZARTS, where the performance of DARTS collapses due to its known instability issue. Also, we search on the search space of DARTS to compare with peer methods, and our discovered architecture achieves 97.54% accuracy on CIFAR-10 and 75.7% top-1 accuracy on ImageNet, which are state-of-the-art performance.

研究动机与目标

• 解决由于对最优网络权重进行一阶近似而引起的 DARTS 中的不稳定性和有偏优化问题。
• 开发一种无需可微性的鲁棒 NAS 框架，采用零阶优化方法，避免对架构参数依赖梯度计算。
• 证明零阶方法可作为双层 NAS 优化中梯度驱动的 DARTS 的稳定、高效替代方案。
• 探索零阶优化与梯度下降之间的联系，表明 ZARTS 是 DARTS 的稳健对应方法。
• 通过与正交 DARTS 变体（如 MergeNAS 和 GZAS）结合，实现更快、更准确的架构搜索。

提出的方法

• ZARTS 用零阶优化方法替代 DARTS 中的基于梯度的优化，消除了对架构参数搜索损失可微性的依赖。
• 评估了三种典型的零阶方法——随机搜索（RS）、仿生梯度搜索（MGS）和基于方向采样的无梯度学习（GLD），其中 MGS 在准确率与速度之间表现出最佳平衡。
• 该方法将 NAS 建模为双层优化问题，通过零阶梯度更新架构参数，避免因一阶近似导致的损失景观失真。
• ZARTS 设计为与现有 DARTS 变体兼容，可与 MergeNAS 和 P-DARTS 等方法集成，进一步加速搜索并提升性能。
• 该框架利用零阶方法仅通过函数评估即可估计梯度的特性，使其适用于非可微或复杂搜索目标。
• 理论与实证分析表明，MGS 和 RS 可被解释为梯度下降的近似，从而将 ZARTS 定位为 DARTS 的稳健、无梯度替代方案。

实验结果

研究问题

• RQ1 DARTS 中的一阶近似是否扭曲了损失景观，导致架构参数训练不稳定？
• RQ2 零阶优化方法能否在不依赖搜索目标可微性的情况下，提供比基于梯度的 NAS 更稳定、更准确的替代方案？
• RQ3 在 NAS 中，MGS、RS 和 GLD 等零阶方法在准确率、速度和鲁棒性方面如何比较？
• RQ4 在 NAS 背景下，零阶优化与梯度下降之间存在怎样的理论与实证联系？
• RQ5 ZARTS 是否能与现有 DARTS 变体有效结合，以进一步提升搜索速度与性能？

主要发现

• ZARTS 在 CIFAR-10 上达到 97.54% 的 top-1 准确率，优于 DARTS 及其大多数变体。
• 在 ImageNet 上，ZARTS 使用 5.6M 参数模型达到 75.7% 的 top-1 准确率，展现出强大的鲁棒性与性能。
• ZARTS 的 MGS 变体在三种测试的零阶方法中实现了最佳的准确率与速度平衡。
• 在 12 个基准测试中，ZARTS 展现出卓越的稳定性，而 DARTS 因已知的不稳定性问题（如跳连接主导）而失败。
• 将 ZARTS 与 MergeNAS 结合（即 MergeZARTS），在 CIFAR-10 上实现 97.81% 的 SOTA 准确率，且仅需 0.5 GPU-day 的搜索成本。
• 将 ZARTS 与 P-DARTS（P-ZARTS）和 GZAS（GZAS）结合，进一步提升性能并降低内存使用，实现在复杂任务上的高效搜索。