[论文解读] Neural Architecture Search as Multiobjective Optimization Benchmarks: Problem Formulation and Performance Assessment

Zhichao Lu, Ran Cheng+3 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

该论文提出了 EvoXBench，一个无需 GPU 的端到端流水线，用于为神经架构搜索（NAS）中的进化多目标优化（EMO）生成标准化基准测试问题。它将 NAS 形式化为一个通用的多目标优化问题，实现了在不同数据集、搜索空间和硬件平台上的 EMO 算法高效评估，通过六种算法在最多八个目标上的实证验证。

ABSTRACT

The ongoing advancements in network architecture design have led to remarkable achievements in deep learning across various challenging computer vision tasks. Meanwhile, the development of neural architecture search (NAS) has provided promising approaches to automating the design of network architectures for lower prediction error. Recently, the emerging application scenarios of deep learning have raised higher demands for network architectures considering multiple design criteria: number of parameters/floating-point operations, and inference latency, among others. From an optimization point of view, the NAS tasks involving multiple design criteria are intrinsically multiobjective optimization problems; hence, it is reasonable to adopt evolutionary multiobjective optimization (EMO) algorithms for tackling them. Nonetheless, there is still a clear gap confining the related research along this pathway: on the one hand, there is a lack of a general problem formulation of NAS tasks from an optimization point of view; on the other hand, there are challenges in conducting benchmark assessments of EMO algorithms on NAS tasks. To bridge the gap: (i) we formulate NAS tasks into general multi-objective optimization problems and analyze the complex characteristics from an optimization point of view; (ii) we present an end-to-end pipeline, dubbed $ exttt{EvoXBench}$, to generate benchmark test problems for EMO algorithms to run efficiently -- without the requirement of GPUs or Pytorch/Tensorflow; (iii) we instantiate two test suites comprehensively covering two datasets, seven search spaces, and three hardware devices, involving up to eight objectives. Based on the above, we validate the proposed test suites using six representative EMO algorithms and provide some empirical analyses. The code of $ exttt{EvoXBench}$ is available from $\href{https://github.com/EMI-Group/EvoXBench}{ m{here}}$.

研究动机与目标

• 从优化视角解决 NAS 缺乏通用多目标优化公式的挑战。
• 克服由于搜索空间、评估流程和计算需求不一致，导致难以比较 EMO 算法在 NAS 任务上的表现。
• 开发一个可扩展、高效的基准测试流水线，消除对深度学习框架和 GPU 的依赖。
• 提供全面的测试套件，覆盖多种数据集、搜索空间和硬件平台，以实现对 EMO 算法的严格评估。
• 实现对 EMO 性能在预测误差、模型复杂度和硬件效率（如延迟、能耗）之间权衡的实证分析。

提出的方法

• 将 NAS 形式化为一个通用多目标优化问题（MOP），目标包括预测误差、模型复杂度（参数量、浮点运算量）和硬件效率（延迟、能耗）。
• 设计 EvoXBench 为端到端流水线，可在无需 PyTorch、TensorFlow 或 GPU 访问的情况下生成基准实例。
• 实现一个模块化框架，支持多种数据集（如 CIFAR-10、ImageNet）、搜索空间（如 MobileNet、ResNet、Transformer）和硬件设备（如 GPU、Eyeriss）。
• 为每个测试实例定义最多八个目标，包括模型级指标（如准确率、FLOPs）和硬件级指标（如推理延迟、能耗）。
• 将 EMO 算法（如 NSGA-II）集成到流水线中，使用超体积（HV）和收敛性分析等指标进行性能评估。
• 通过可视化帕累托最优架构在不同权衡子集中的表现，分析架构模式和不同目标下的算子偏好。

(a) Standard NAS Pipeline

实验结果

研究问题

• RQ1 如何系统地将 NAS 形式化为具有明确定义目标和约束的通用多目标优化问题？
• RQ2 EMO 算法在 NAS 中在预测误差、模型复杂度和硬件效率之间探索权衡的效率如何？
• RQ3 在帕累托前沿的不同目标权衡区域中，架构选择（如卷积类型、池化操作）如何变化？
• RQ4 在不同搜索空间和硬件平台上，帕累托最优架构中是否存在一致的设计模式？
• RQ5 像 EvoXBench 这样无需 GPU 且与框架无关的基准测试流水线，能否实现 EMO 算法在 NAS 中的公平且高效的评估？

主要发现

• 在所有权衡场景中，$3\times3$ 卷积均被一致偏好，表明其对预测误差具有显著积极影响。
• 帕累托最优架构中极少使用 $3\times3$ 平均池化操作，表明其可能对预测性能产生负面影响。
• 通过系统性地移除 $1\times1$ 卷积，可实现从准确率-复杂度权衡到准确率-延迟权衡的过渡。
• 在 Eyeriss 上，推理延迟与能耗高度相关，表明更快的模型通常也更节能。
• 能量效率与算术强度之间存在权衡，这在多目标景观中表现为非平行、交叉的客观关系。
• EvoXBench 实现了无需 GPU 或深度学习框架依赖的高效、可复现且公平的 EMO 算法评估，验证了其在 NAS 基准测试中的实用性。

(b) Our NAS Benchmark tailored for EMO