[论文解读] Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets

Hayeon Lee, Eunyoung Hyung+1 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Neural Network Applications参考文献 46被引用 6

一句话总结

该论文提出 MetaD2A，一种元学习框架，通过在跨模态潜在空间中直接从未见过的数据集生成基于图的神经架构，实现快速搜索最优神经架构。该框架在数据集和预训练模型数据库上仅需一次训练，即可在新数据集上实现平均仅 33 GPU 秒的搜索时间，优于传统 NAS 方法，在 MobileNetV3 搜索空间上比 NSGANetV2 快 5.5K 倍，同时保持了具有竞争力的准确率。

ABSTRACT

Despite the success of recent Neural Architecture Search (NAS) methods on various tasks which have shown to output networks that largely outperform human-designed networks, conventional NAS methods have mostly tackled the optimization of searching for the network architecture for a single task (dataset), which does not generalize well across multiple tasks (datasets). Moreover, since such task-specific methods search for a neural architecture from scratch for every given task, they incur a large computational cost, which is problematic when the time and monetary budget are limited. In this paper, we propose an efficient NAS framework that is trained once on a database consisting of datasets and pretrained networks and can rapidly search for a neural architecture for a novel dataset. The proposed MetaD2A (Meta Dataset-to-Architecture) model can stochastically generate graphs (architectures) from a given set (dataset) via a cross-modal latent space learned with amortized meta-learning. Moreover, we also propose a meta-performance predictor to estimate and select the best architecture without direct training on target datasets. The experimental results demonstrate that our model meta-learned on subsets of ImageNet-1K and architectures from NAS-Bench 201 search space successfully generalizes to multiple unseen datasets including CIFAR-10 and CIFAR-100, with an average search time of 33 GPU seconds. Even under MobileNetV3 search space, MetaD2A is 5.5K times faster than NSGANetV2, a transferable NAS method, with comparable performance. We believe that the MetaD2A proposes a new research direction for rapid NAS as well as ways to utilize the knowledge from rich databases of datasets and architectures accumulated over the past years. Code is available at https://github.com/HayeonLee/MetaD2A.

研究动机与目标

• 解决任务特定神经架构搜索（NAS）带来的高计算成本问题，该问题需要为每个新数据集重新训练。
• 通过学习共享的、可迁移的架构生成过程，实现在多个未见数据集上的泛化能力。
• 通过元学习在数据集和架构数据库上训练单一模型，将 NAS 搜索时间从 O(N) 降低至 O(1)。
• 开发一种元性能预测器，无需在目标数据集上直接训练即可估计架构的准确率。
• 为实际部署场景提供高效、低成本的架构搜索方案，其中时间和预算均受限制。

提出的方法

• 集合编码器使用可学习的、置换等变架构，将输入数据集编码为潜在嵌入，以捕捉数据集级别的特征。
• 图解码器以随机、可微分的方式，从数据集编码的潜在表示中生成神经架构候选（作为计算图）。
• 通过近似元学习学习一个跨模态潜在空间，将数据集表示与对应的神经架构分布对齐。
• 训练一个元性能预测器，利用数据集和架构输入来估计生成架构的准确率，从而提升在不同数据集上的泛化能力。
• 框架采用两阶段流程：(1) 从数据集的潜在嵌入生成多个架构候选；(2) 使用元预测器选择性能最优的一个。
• 模型在 ImageNet-1K 的子集以及 NAS-Bench 201 和 MobileNetV3 搜索空间的架构上进行元训练，以实现零样本泛化。

实验结果

研究问题

• RQ1 是否可以仅训练一个 NAS 模型一次，即可在无需微调的情况下泛化到多个未见数据集？
• RQ2 学习到的潜在空间是否能够实现直接从数据集嵌入中进行随机且高质量的架构生成？
• RQ3 元性能预测器是否能够在不直接在目标数据集上训练的情况下准确对架构进行排序？
• RQ4 与现有 NAS 和可迁移 NAS 方法相比，所提方法在速度和准确率方面表现如何？
• RQ5 生成器在多大程度上能够产生新颖、有效且唯一的架构，这些架构未出现在训练数据库中？

主要发现

• MetaD2A 在未见数据集（如 CIFAR-10、CIFAR-100 和 Oxford-IIIT Pets）上实现了平均 33 GPU 秒的搜索时间，显著快于传统 NAS 方法。
• 在 MobileNetV3 搜索空间上，MetaD2A 比 NSGANetV2 快 5.5K 倍，同时达到相当的性能水平。
• 元性能预测器与实际架构准确率之间的皮尔逊相关系数达到 0.8085，优于其他集合编码器。
• 在 NAS-Bench-201 中，生成器产生了 67.31% 的新颖架构，在 MobileNetV3 中达到 100%，且有效性为 1.0000，独特性分别为 0.3519 和 1.0000。
• 该模型在多个未见数据集（包括 MNIST、SVHN 和 Aircraft）上表现出有效泛化，性能持续优于随机采样基线。
• 所提出的架构改进了集合编码器的性能预测能力，优于先前的集合编码器（如 DeepSet 和 SetTransformer）。