[论文解读] Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search

Xiao Han, Ziwei Wang+3 more|arXiv (Cornell University)|Jun 20, 2022

Machine Learning in Materials Science被引用 7

一句话总结

Shapley-NAS 提出了一种新颖的可微神经架构搜索方法，利用 Shapley 值评估操作对模型性能的真实贡献，克服了 DARTS 中基于梯度的架构参数大小无法可靠反映操作重要性的局限。通过采用带有早期截断的蒙特卡洛采样近似 Shapley 值，并结合基于动量的优化，该方法在 CIFAR-10（2.43% 错误率）、ImageNet（23.9% 的 top-1 准确率）和 NAS-Bench-201 基准上实现了最先进性能，且搜索成本极低。

ABSTRACT

In this paper, we propose a Shapley value based method to evaluate operation contribution (Shapley-NAS) for neural architecture search. Differentiable architecture search (DARTS) acquires the optimal architectures by optimizing the architecture parameters with gradient descent, which significantly reduces the search cost. However, the magnitude of architecture parameters updated by gradient descent fails to reveal the actual operation importance to the task performance and therefore harms the effectiveness of obtained architectures. By contrast, we propose to evaluate the direct influence of operations on validation accuracy. To deal with the complex relationships between supernet components, we leverage Shapley value to quantify their marginal contributions by considering all possible combinations. Specifically, we iteratively optimize the supernet weights and update the architecture parameters by evaluating operation contributions via Shapley value, so that the optimal architectures are derived by selecting the operations that contribute significantly to the tasks. Since the exact computation of Shapley value is NP-hard, the Monte-Carlo sampling based algorithm with early truncation is employed for efficient approximation, and the momentum update mechanism is adopted to alleviate fluctuation of the sampling process. Extensive experiments on various datasets and various search spaces show that our Shapley-NAS outperforms the state-of-the-art methods by a considerable margin with light search cost. The code is available at https://github.com/Euphoria16/Shapley-NAS.git

研究动机与目标

• 为了解决 DARTS 的局限性，即架构参数大小无法可靠反映操作对模型性能的实际重要性。
• 开发一种方法，直接测量每个操作对验证准确率的边际贡献，同时考虑操作之间的复杂交互作用。
• 通过使用带有早期截断的蒙特卡洛采样近似 Shapley 值，实现出色且稳定的架构搜索。
• 提升操作强度与最终模型性能之间的相关性，从而实现更优的架构发现。
• 在 CIFAR-10、CIFAR-100、ImageNet 和 NAS-Bench-201 上以极低的搜索成本实现最先进性能。

提出的方法

• 利用合作博弈论中的 Shapley 值，量化每个操作在所有可能操作子集上的验证准确率边际贡献。
• 采用带有早期截断的蒙特卡洛采样，高效近似计算 NP 难的精确 Shapley 值。
• 集成动量更新机制，以稳定训练过程中由随机采样带来的波动估计。
• 迭代优化超网络权重和架构参数，以估计的 Shapley 值作为架构选择的基础。
• 将超网络中的每个操作视为合作博弈中的参与者，其中价值函数为由操作子集构成的子网络的验证准确率。
• 通过选择 Shapley 值贡献最高的操作来推导最终架构，确保性能相关性高。

实验结果

研究问题

• RQ1 Shapley 值能否在可微神经架构搜索中提供比架构参数大小更可靠的性能重要性度量？
• RQ2 带有早期截断的蒙特卡洛采样在多大程度上能有效近似神经架构搜索中操作贡献的精确 Shapley 值？
• RQ3 基于 Shapley 值的操作选择是否能带来优于 DARTS 及其他 SOTA 方法的最终模型性能？
• RQ4 在多样化搜索空间中，基于 Shapley 值的操作强度与实际测试准确率之间的相关性如何？
• RQ5 所提出的方法能否在 CIFAR-10、ImageNet 和 NAS-Bench-201 等标准基准上以低搜索成本实现最先进性能？

主要发现

• Shapley-NAS 在使用 DARTS 搜索空间的情况下，于 CIFAR-10 上实现了 2.43% 的测试错误率，优于现有方法。
• 在移动设置下的 ImageNet 上，Shapley-NAS 达到了 23.9% 的 top-1 准确率，展现出在大规模数据集上的强大性能。
• 在 NAS-Bench-201 上，Shapley-NAS 在 CIFAR-10 和 CIFAR-100 上发现了最优架构，在 ImageNet-16-120 上找到了近乎最优解。
• Shapley 值与测试准确率之间的 Kendall Tau 相关系数在 CIFAR-10 上达到 0.526，在 CIFAR-100 上为 0.474，在 ImageNet-16-120 上为 0.357，显著高于 DARTS。
• 通过 Shapley-NAS 衍生的架构参数会演化为真实性能贡献的反映，例如 sep_conv_5x5 和 sep_conv_3x3 等操作仅在对准确率贡献最大时才成为主导。
• 动量更新机制有效降低了随机采样过程中的方差，从而实现了更稳定可靠的架构搜索。