[论文解读] NAS-Bench-x11 and the power of learning curves

Yan, Shen, White, Colin+2 more|FreiDok plus (Universitätsbibliothek Freiburg)|Jan 1, 2021

Adversarial Robustness in Machine Learning参考文献 76被引用 8

一句话总结

本论文提出了 NAS-Bench-111、NAS-Bench-311 和 NAS-Bench-NLP11——这些代理基准测试集提供了神经架构搜索中所有架构的完整训练学习曲线（损失与准确率随所有训练周期的变化），支持多保真度技术（如学习曲线外推），从而显著提升四个搜索空间中单保真度 NAS 算法的性能。通过在部分完全训练的架构上应用奇异值分解与噪声建模，作者构建了高度精确的代理模型，使单保真度 NAS 算法能够通过早期停止与外推技术获得性能增强。

ABSTRACT

While early research in neural architecture search (NAS) required extreme computational resources, the recent releases of tabular and surrogate benchmarks have greatly increased the speed and reproducibility of NAS research. However, two of the most popular benchmarks do not provide the full training information for each architecture. As a result, on these benchmarks it is not possible to run many types of multi-fidelity techniques, such as learning curve extrapolation, that require evaluating architectures at arbitrary epochs. In this work, we present a method using singular value decomposition and noise modeling to create surrogate benchmarks, NAS-Bench-111, NAS-Bench-311, and NAS-Bench-NLP11, that output the full training information for each architecture, rather than just the final validation accuracy. We demonstrate the power of using the full training information by introducing a learning curve extrapolation framework to modify single-fidelity algorithms, showing that it leads to improvements over popular single-fidelity algorithms which claimed to be state-of-the-art upon release. Our code and pretrained models are available at https://github.com/automl/nas-bench-x11.

研究动机与目标

• 为解决现有 NAS 基准测试集仅存储最终验证准确率而缺乏完整训练曲线的问题，从而限制了多保真度技术（如学习曲线外推）的应用。
• 开发一种方法，构建高精度的代理基准测试集，以预测大规模搜索空间中所有架构的完整学习曲线（训练/验证/测试损失与准确率）。
• 证明通过利用新基准测试集提供的完整训练曲线信息，可显著提升单保真度 NAS 算法的性能，方法包括学习曲线外推。
• 通过支持基于 CPU 的高保真度预测基准测试，促进 NAS 研究的可复现性并降低计算成本。

提出的方法

• 使用奇异值分解（SVD）降低部分完全训练架构的完整学习曲线的维度。
• 利用在 SVD 分量上训练的回归模型，预测学习曲线的主奇异值系数。
• 通过学习到的概率分布建模预测中的残差噪声，以提升不确定性估计与预测精度。
• 在多样化架构集合上训练代理模型——包括随机采样与由高性能 NAS 方法选出的架构，以确保对搜索空间的广泛覆盖。
• 通过引入额外特征（如 NAS-Bench-NLP11 中的早期训练准确率，例如前三个周期）增强代理模型，以提升预测保真度。
• 使用 Kendall Tau 排名相关系数与 Kullback-Leibler 散度等指标，在保留的测试集上验证代理基准测试集的性能，确保高预测精度。

实验结果

研究问题

• RQ1 是否可以构建代理基准测试集，为大规模神经架构搜索空间中的架构提供完整的训练曲线信息（损失与准确率随所有训练周期的变化）？
• RQ2 当可获取完整训练曲线时，学习曲线外推（LCE）在多大程度上能提升单保真度 NAS 算法的性能？
• RQ3 在 NAS-Bench-NLP11 中，包含早期训练准确率（如前三个周期）如何影响代理模型的预测精度？
• RQ4 代理基准测试集的预测能力与真实学习曲线相比，在排名相关性与分布相似性方面表现如何？
• RQ5 所提出的基于 SVD 与噪声建模的框架是否可推广，用于为未来 NAS 研究创建新的代理基准测试集？

主要发现

• 代理基准测试集 NAS-Bench-111、NAS-Bench-311 和 NAS-Bench-NLP11 达到了高预测精度，在测试集上的 Kendall Tau 排名相关系数超过 0.9，表明其对相对性能排序的强保真性。
• 将学习曲线外推（LCE）应用于单保真度 NAS 算法（如正则化进化、局部搜索与 BANANAS）后，可在所有四个测试的搜索空间中实现一致的性能提升。
• NAS-Bench-111 代理基准测试集即使仅使用 1,101 个训练架构，也能实现优异的平均性能，这得益于将 NAS-Bench-101 中的额外验证准确率点作为特征输入。
• NAS-Bench-NLP11 基准测试集在将前三个周期的准确率作为输入特征时性能显著提升，这为查询代理模型前进行三周期预热提供了合理依据。
• 噪声建模组件在 NAS-Bench-311 中效果最显著，因其训练集更大（60,000 个架构），有效降低了预测误差，并提升了对尖峰异常的鲁棒性。
• 该框架在 NAS-Bench-NLP11 中实现了相比完整训练 15 倍的加速，同时保持了高预测保真度，使基于 CPU 的 NAS 实验成为可行且高效的方案。