[论文解读] NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks

Renbo Tu, Nicholas J. Roberts+4 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Neural Network Applications被引用 11

一句话总结

NAS-Bench-360 引入了一个涵盖视觉、语音、基因组学和科学计算的多样化基准测试套件，包含十个机器学习任务，用于评估神经架构搜索（NAS）方法，超越传统的计算机视觉基准。研究发现，最先进的NAS方法在不同任务上的表现不一致，在资源受限的环境下，固定CNN模型往往优于NAS方法，且零样本代理的性能不可靠。

ABSTRACT

Most existing neural architecture search (NAS) benchmarks and algorithms prioritize well-studied tasks, e.g. image classification on CIFAR or ImageNet. This makes the performance of NAS approaches in more diverse areas poorly understood. In this paper, we present NAS-Bench-360, a benchmark suite to evaluate methods on domains beyond those traditionally studied in architecture search, and use it to address the following question: do state-of-the-art NAS methods perform well on diverse tasks? To construct the benchmark, we curate ten tasks spanning a diverse array of application domains, dataset sizes, problem dimensionalities, and learning objectives. Each task is carefully chosen to interoperate with modern CNN-based search methods while possibly being far-afield from its original development domain. To speed up and reduce the cost of NAS research, for two of the tasks we release the precomputed performance of 15,625 architectures comprising a standard CNN search space. Experimentally, we show the need for more robust NAS evaluation of the kind NAS-Bench-360 enables by showing that several modern NAS procedures perform inconsistently across the ten tasks, with many catastrophically poor results. We also demonstrate how NAS-Bench-360 and its associated precomputed results will enable future scientific discoveries by testing whether several recent hypotheses promoted in the NAS literature hold on diverse tasks. NAS-Bench-360 is hosted at https://nb360.ml.cmu.edu.

研究动机与目标

• 为解决现有NAS方法在CIFAR-10和ImageNet等经典计算机视觉任务之外缺乏稳健评估的问题。
• 探究在视觉任务中表现优异的NAS方法是否能有效泛化到基因组学、语音和科学模拟等远场应用领域。
• 通过统一的基准框架，实现跨异构领域NAS算法和搜索空间的可复现、系统性评估。
• 发布在两个任务上对15,625个架构的预计算性能结果，以加速NAS研究并降低训练成本。
• 检验既有的NAS假设（如零样本代理的有效性）在非视觉任务中的有效性。

提出的方法

• 精心筛选了涵盖图像分类、语音识别、蛋白质结构预测、基因组学、流体动力学和医学信号处理的十项多样化机器学习任务。
• 选择的任务与标准卷积神经网络（CNN）搜索空间兼容，同时代表了NAS方法原始开发背景之外的领域。
• 发布了基于NAS-Bench-201搜索空间的15,625个架构在两个任务（CIFAR-100和Spherical）上的预计算准确率和FLOPS，支持快速评估。
• 在所有任务中使用标准NAS算法（如DARTS、DenseNAS、Auto-DL、AMBER）和基线模型（如Wide ResNet、专家设计模型）。
• 通过任务间的误差分布评估性能，测量某方法误差在最佳方法误差τ倍范围内的任务占比。
• 开展消融研究，以检验NAS假设的泛化能力，包括零样本代理性能和搜索空间效率。

实验结果

研究问题

• RQ1 最先进的NAS方法在多样化、非视觉机器学习任务中是否表现一致？
• RQ2 专为图像分类设计的NAS方法能否有效泛化到基因组学、语音和科学模拟等任务？
• RQ3 零样本代理在多样化任务上的表现如何？它们是否能可靠地预测计算机视觉以外的架构性能？
• RQ4 在资源受限的设置下，跨不同领域使用NAS是否相比固定架构具有性能优势？
• RQ5 当在更广泛的任务范围内评估时，既有的NAS发现（如某些搜索算法的优越性）在多大程度上仍然成立？

主要发现

• 在资源受限的实践中，使用固定Wide ResNet可能比应用NAS更为有利，因为NAS方法在多样化任务上常表现不佳。
• 基于NAS-Bench-201的分析和在计算机视觉任务中的发现无法推广到其他领域，表明NAS方法的行为具有任务特异性。
• 零样本代理在NAS-Bench-360任务中表现不一致，与早期发现一致，凸显其在多样化环境中的可靠性有限。
• NAS方法的性能在不同任务间差异显著，某些方法在Cosmic和DeepSEA等特定领域表现极差，表明其对任务特征高度敏感。
• 为两个任务（CIFAR-100和Spherical）预计算的模型支持快速评估与可复现性，报告了15,625个架构在多个搜索空间中的FLOPS和参数量。
• 在ECG和DeepSEA等领域，专家设计模型在参数效率和FLOPS方面通常优于NAS学习的模型，尤其当定制模块至关重要时。