[论文解读] One-Shot Neural Architecture Search via Compressive Sensing

Minsu Cho, Mohammadreza Soltani+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Neural Network Applications参考文献 45被引用 16

一句话总结

本文提出 CoNAS，一种一次性神经架构搜索方法，通过压缩感知与布尔傅里叶分析，以最少的验证测量次数高效识别高性能架构。通过将架构性能建模为稀疏布尔函数并利用基于 LASSO 的恢复方法，CoNAS 在 DARTS 和 NAS-Bench-201 上实现了具有理论保证的测量效率的竞争力准确率。

ABSTRACT

Neural Architecture Search remains a very challenging meta-learning problem. Several recent techniques based on parameter-sharing idea have focused on reducing the NAS running time by leveraging proxy models, leading to architectures with competitive performance compared to those with hand-crafted designs. In this paper, we propose an iterative technique for NAS, inspired by algorithms for learning low-degree sparse Boolean functions. We validate our approach on the DARTs search space (Liu et al., 2018b) and NAS-Bench-201 (Yang et al., 2020). In addition, we provide theoretical analysis via upper bounds on the number of validation error measurements needed for reliable learning, and include ablation studies to further in-depth understanding of our technique.

研究动机与目标

• 通过仅需最少验证测量次数的一次性搜索，解决神经架构搜索（NAS）的高计算成本问题。
• 通过引入理论基础坚实的稀疏恢复框架，克服现有一次性 NAS 方法中代理模型的局限性。
• 提出一种新型搜索空间，通过子架构的二值编码实现多样化架构的探索。
• 基于压缩感知原理，提供可靠恢复高绩效架构所需测量次数的理论边界。
• 通过将架构准确率建模为可通过 LASSO 优化恢复的低次稀疏布尔函数，提升搜索效率与性能。

提出的方法

• 将每个神经架构表示为编码 DAG 基搜索空间中边操作的二值向量，实现子架构的离散表示。
• 将架构的验证损失建模为二值编码超立方体上的实值布尔函数。
• 利用傅里叶基分解表示架构性能函数，假设低次单项式（次数 ≤ d）具有稀疏性。
• 通过参数共享的一次性模型，从架构性能的随机测量中构建图采样矩阵 A。
• 应用 LASSO 回归，从 m 次测量中恢复稀疏傅里叶系数，识别最具影响力的架构组件。
• 通过选择恢复解中 s 个最大模系数对应的二值向量，重构最优架构。

实验结果

研究问题

• RQ1 压缩感知原理能否有效应用于减少一次性 NAS 所需的验证测量次数？
• RQ2 架构性能函数在傅里叶域中的稀疏性如何影响 NAS 的准确率与效率？
• RQ3 在基于 LASSO 的稀疏恢复下，可靠恢复高性能架构所需的理论最小测量次数是多少？
• RQ4 当从头训练时，一次性代理模型对架构的排序与真实性能的相关性如何？
• RQ5 CoNAS 解在不同 LASSO 正则化参数下的稳定性如何？

主要发现

• CoNAS 在 DARTS 搜索空间和 NAS-Bench-201 上实现了具有竞争力的准确率，最优 LASSO 参数下测试误差为 3.51% ± 0.06。
• 理论分析表明，在受限等距性质（RIP）条件下，m = O(log²(1/δ)δ⁻²s log²(s/δ)d log n) 次测量足以以高概率实现可靠恢复。
• 一次性模型预测与实际训练结果之间的 Kendall tau 相关系数较弱（τ = 0.15，p = 0.23），表明代理模型的排序保真度有限。
• CoNAS 对 LASSO 参数变化表现出鲁棒性，不同 λ 值下解的汉明距离保持较低（≤12），且测试误差稳定在 3.51%–3.74% 之间。
• 该方法平均恢复出编码器中 15 个活跃操作（共 140 个），表明有效诱导了稀疏性。
• CoNAS 优于随机架构搜索，最优设置下测试误差为 3.51% ± 0.06，而随机搜索为 4.43% ± 0.08。