[论文解读] On Redundancy and Diversity in Cell-based Neural Architecture Search

Xingchen Wan, Binxin Ru+2 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文对基于细胞的神经架构搜索（NAS）空间进行了事后分析，揭示了尽管搜索空间复杂，但架构中存在高度冗余和有限多样性。研究发现，性能关键取决于少数简单且重复出现的模式——这些模式常类似于经典设计——而大多数设计选择在功能上无关紧要。通过将细胞约束于这些模式，随机采样的架构可达到或超越当前最先进（SOTA）性能，挑战了现有NAS搜索空间的有效性，并提示需要设计更简单、更合理的搜索空间。

ABSTRACT

Searching for the architecture cells is a dominant paradigm in NAS. However, little attention has been devoted to the analysis of the cell-based search spaces even though it is highly important for the continual development of NAS. In this work, we conduct an empirical post-hoc analysis of architectures from the popular cell-based search spaces and find that the existing search spaces contain a high degree of redundancy: the architecture performance is minimally sensitive to changes at large parts of the cells, and universally adopted designs, like the explicit search for a reduction cell, significantly increase the complexities but have very limited impact on the performance. Across architectures found by a diverse set of search strategies, we consistently find that the parts of the cells that do matter for architecture performance often follow similar and simple patterns. By explicitly constraining cells to include these patterns, randomly sampled architectures can match or even outperform the state of the art. These findings cast doubts into our ability to discover truly novel architectures in the existing cell-based search spaces, and inspire our suggestions for improvement to guide future NAS research. Code is available at https://github.com/xingchenwan/cell-based-NAS-analysis.

研究动机与目标

• 调查主流基于细胞的NAS搜索空间中所发现架构的潜在结构与功能多样性。
• 评估NAS中广泛采用的设计模式（如显式下采样细胞）是否显著提升性能，或仅增加复杂度。
• 确定来自不同搜索方法的高性能架构是否共享共同的、简单的结构模式。
• 评估受这些核心模式约束的随机架构是否可达到或超越SOTA性能。
• 通过识别当前搜索空间设计中的缺陷并提出改进方案，为未来NAS研究提供指导。

提出的方法

• 使用可解释AI工具对来自不同NAS方法在DARTS基于细胞的搜索空间中训练的架构进行事后分析，以检查特征重要性。
• 利用代理模型（如NB301预测器）评估数千个架构的性能，实现大规模经验分析。
• 应用与模型无关的可解释性技术，识别对性能影响最大的架构组件。
• 通过消融研究测量其对性能的影响，系统性地剪枝冗余操作和连接。
• 评估受显式约束于所识别出的高影响力模式的随机采样架构的性能。
• 通过仅使用200个架构训练的最小代理模型进行验证，证明了低成本分析的可行性。

实验结果

研究问题

• RQ1 尽管采用不同的搜索算法，基于细胞的NAS中高性能架构在多大程度上共享共同的结构模式？
• RQ2 广泛采用的设计选择（如显式下采样细胞）在多大程度上对性能有贡献，而非仅增加搜索空间复杂度？
• RQ3 受最具影响力结构模式约束的随机架构是否可实现与SOTA NAS方法相当或更优的性能？
• RQ4 搜索空间的名义复杂度在多大程度上反映了高性能架构的实际功能多样性？
• RQ5 简化且受模式约束的搜索空间是否能在性能和效率两方面超越现有复杂且人工设计的搜索空间？

主要发现

• 基于细胞的架构性能主要由少数简单且重复出现的结构模式决定，这些模式类似于经典CNN设计。
• 许多常用设计元素（如显式下采样细胞）在功能上是冗余的，对性能贡献极小，却显著增加了搜索空间复杂度。
• 尽管采用不同的搜索策略，所发现的高性能架构在功能结构上惊人地相似，表明搜索空间的有效多样性极低。
• 受关键性能驱动模式约束的随机采样架构在CIFAR-10和ImageNet上的测试准确率，可达到或超越多种网络宽度和深度下的SOTA NAS方法。
• 仅使用约200个架构的代理模型即可有效完成分析，表明低成本评估搜索空间是可行的。
• 当前标准的基于细胞的搜索空间在设计上存在根本性缺陷，过度强调复杂度而非功能多样性，可能使NAS偏向于类似现有手工设计网络的架构。