[论文解读] NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies

Arjun Krishnakumar, Colin White+4 more|arXiv (Cornell University)|Oct 6, 2022

Software Engineering Research被引用 12

一句话总结

本文提出 NAS-Bench-Suite-Zero，一个统一的基准测试集，包含在28个神经架构搜索任务中预计算的13种零样本（ZC）代理的得分。该基准使评估速度提升数个数量级，通过信息论分析揭示了ZC代理之间的互补信息，并表明将全部13种代理结合可使神经架构搜索算法中的代理模型性能最高提升42%。

ABSTRACT

Zero-cost proxies (ZC proxies) are a recent architecture performance prediction technique aiming to significantly speed up algorithms for neural architecture search (NAS). Recent work has shown that these techniques show great promise, but certain aspects, such as evaluating and exploiting their complementary strengths, are under-studied. In this work, we create NAS-Bench-Suite: we evaluate 13 ZC proxies across 28 tasks, creating by far the largest dataset (and unified codebase) for ZC proxies, enabling orders-of-magnitude faster experiments on ZC proxies, while avoiding confounding factors stemming from different implementations. To demonstrate the usefulness of NAS-Bench-Suite, we run a large-scale analysis of ZC proxies, including a bias analysis, and the first information-theoretic analysis which concludes that ZC proxies capture substantial complementary information. Motivated by these findings, we present a procedure to improve the performance of ZC proxies by reducing biases such as cell size, and we also show that incorporating all 13 ZC proxies into the surrogate models used by NAS algorithms can improve their predictive performance by up to 42%. Our code and datasets are available at https://github.com/automl/naslib/tree/zerocost.

研究动机与目标

• 通过提供一个统一且可扩展的基准测试集并预先计算得分，加速零样本代理（ZC代理）的研究。
• 评估13种ZC代理在多样化神经架构搜索基准中的泛化能力、偏差以及互补信息。
• 研究如何有效组合ZC代理以提升神经架构搜索（NAS）中代理模型的性能。
• 开发并验证一种减少ZC代理偏差的方法，以提升其预测准确性。
• 展示将多个ZC代理整合到NAS算法中所带来的实际影响，从而提升预测性能。

提出的方法

• 作者使用基于NASLib构建的统一代码库，在28项任务中实现并预计算了13种ZC代理，确保评估的一致性，并消除了实现相关的干扰因素。
• 他们进行了大规模的实证分析，包括偏差分析以及ZC代理之间互信息的信息论分析。
• 提出一种减少ZC代理偏差的流程，重点针对架构因素如模块大小和卷积操作数量。
• 将ZC代理得分与架构编码拼接，并作为XGBoost代理模型中的特征，用于神经架构搜索算法。
• 采用贪心特征选择方法，确定用于模型训练的最优ZC代理子集。
• 在两种基于预测器的NAS算法（BANANAS和NPENAS）上验证了该方法的有效性，以斯皮尔曼等级相关系数为主要评估指标。

实验结果

研究问题

• RQ1 ZC代理在多样化神经架构搜索基准中的泛化能力如何？哪些偏差会影响其性能？
• RQ2 不同ZC代理在架构性能预测中捕获互补信息的程度如何？
• RQ3 组合多个ZC代理是否能显著提升NAS中代理模型的预测性能？
• RQ4 如何系统性地减少ZC代理中的偏差（如偏好更大架构）？
• RQ5 在代理模型中包含多少ZC代理可实现最大预测增益？

主要发现

• 信息论分析证实，ZC代理捕获了大量互补信息，因为对多个代理进行条件化可显著提升对验证准确率的预测信息增益。
• 偏差分析显示，ZC代理倾向于偏好参数更多或卷积操作更多的架构，这种偏差可通过归一化和架构特征调整得到缓解。
• 将全部13种ZC代理整合到代理模型中，与仅使用架构编码相比，斯皮尔曼等级相关系数最高可提升42%。
• 消融研究显示，包含6–8种ZC代理后性能趋于平稳，表明在此之后收益递减。
• 在11个基准上，ZC代理的整合显著提升了BANANAS和NPENAS的性能，且在等级相关性上保持一致增益。
• NAS-Bench-Suite-Zero基准在2022年AutoML-Conf的零样本NAS竞赛中成功应用，优胜方法均利用了synflow、fisher和grad_norm × params的归一化版本。