[论文解读] Neural Architecture Search: Insights from 1000 Papers

Colin White, Mahmoud Safari+6 more|arXiv (Cornell University)|Jan 20, 2023

Machine Learning and Data Classification被引用 72

一句话总结

本综述按搜索空间、算法、加速与资源的分类，对 NAS 研究进行整理，强调自 2020 年以来在 1000+ 篇论文取得的快速进展与实际指南。

ABSTRACT

In the past decade, advances in deep learning have resulted in breakthroughs in a variety of areas, including computer vision, natural language understanding, speech recognition, and reinforcement learning. Specialized, high-performing neural architectures are crucial to the success of deep learning in these areas. Neural architecture search (NAS), the process of automating the design of neural architectures for a given task, is an inevitable next step in automating machine learning and has already outpaced the best human-designed architectures on many tasks. In the past few years, research in NAS has been progressing rapidly, with over 1000 papers released since 2020 (Deng and Lindauer, 2021). In this survey, we provide an organized and comprehensive guide to neural architecture search. We give a taxonomy of search spaces, algorithms, and speedup techniques, and we discuss resources such as benchmarks, best practices, other surveys, and open-source libraries.

研究动机与目标

• 提供一个结构化、最新的神经网络架构搜索（NAS）指南。
• 按搜索空间、策略以及性能估算/加速技术对 NAS 进行分类。
• 讨论资源、基准测试和开源库以促进可重复性。

提出的方法

• 提出 NAS 搜索空间的分类法（宏观、链式结构、细胞级、分层）。
• 描述架构编码及其对 NAS 性能的影响。
• 综述黑箱优化与一次性 NAS 策略，包括基线和常见算法。
• 总结加速技术与性能估算方法以提高 NAS 的速度。
• 讨论扩展、应用以及资源（基准、综述、库）。

实验结果

研究问题

• RQ1 哪些是主要的 NAS 搜索空间，以及它们在表达能力和搜索效率上的差异？
• RQ2 主导的 NAS 搜索策略有哪些，在鲁棒性和速度方面的比较如何？
• RQ3 哪些加速与性能估算技术使规模化的 NAS 成为可能？
• RQ4 哪些资源（基准、库、最佳实践）支持可重复的 NAS 研究？
• RQ5 除了图像分类，NAS 如何在其他领域演变？

主要发现

• NAS 迅速发展，过去两年已经有超过 1000 篇 NAS 论文，在多个任务上超越了许多人工设计的架构。
• 一次性/权重共享方法显著加速 NAS，且鲁棒性日益增强，而传统的黑箱方法在某些情形下仍然有价值。
• 基于细胞的搜索空间因效率和可迁移性最受追捧，尽管它们可能限制表达能力；分层空间在搜索成本下提供更强的表达能力。
• 如 NAS-Bench-101 等基准提升了 NAS 的可重复性与科学研究；NAS 研究已从视觉领域扩展到语音、NLP 及更广领域。
• 多样的编码策略（基于图、基于路径、学习编码）显著影响 NAS 的性能和泛化能力。