[论文解读] NASGEM: Neural Architecture Search via Graph Embedding Method

Hsin-Pai Cheng, Tunhou Zhang+8 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Neural Network Applications参考文献 49被引用 10

一句话总结

NASGEM 提出了一种基于估计器的神经架构搜索方法，通过将图嵌入与 Weisfeiler-Lehman 核结合，保留潜在空间中的拓扑相似性，从而实现更精确的性能预测和更高效的搜索。NASGEM 发现的 GEMNet 架构在图像分类和目标检测任务中，相比先前方法，准确率提高 0.4%–3.6%，乘加操作数减少 11%–21%。

ABSTRACT

Neural Architecture Search (NAS) automates and prospers the design of neural networks. Estimator-based NAS has been proposed recently to model the relationship between architectures and their performance to enable scalable and flexible search. However, existing estimator-based methods encode the architecture into a latent space without considering graph similarity. Ignoring graph similarity in node-based search space may induce a large inconsistency between similar graphs and their distance in the continuous encoding space, leading to inaccurate encoding representation and/or reduced representation capacity that can yield sub-optimal search results. To preserve graph correlation information in encoding, we propose NASGEM which stands for Neural Architecture Search via Graph Embedding Method. NASGEM is driven by a novel graph embedding method equipped with similarity measures to capture the graph topology information. By precisely estimating the graph distance and using an auxiliary Weisfeiler-Lehman kernel to guide the encoding, NASGEM can utilize additional structural information to get more accurate graph representation to improve the search efficiency. GEMNet, a set of networks discovered by NASGEM, consistently outperforms networks crafted by existing search methods in classification tasks, i.e., with 0.4%-3.6% higher accuracy while having 11%- 21% fewer Multiply-Accumulates. We further transfer GEMNet for COCO object detection. In both one-stage and twostage detectors, our GEMNet surpasses its manually-crafted and automatically-searched counterparts.

研究动机与目标

• 解决现有基于估计器的 NAS 方法在架构编码过程中无法保留图拓扑结构的问题，从而导致潜在空间表征不准确。
• 通过基于 Weisfeiler-Lehman 核引导的图嵌入方法，将结构相似性信息引入潜在空间，提升搜索效率与准确性。
• 构建一个稳健且可泛化的架构搜索框架，通过利用拓扑归纳偏置，在训练数据有限的情况下仍保持高性能。
• 通过将图嵌入与效率得分预测器结合，并采用自举优化策略，实现可扩展且灵活的搜索，确保在潜在空间中可行且结构有意义的探索。

提出的方法

• 提出一种核引导的图自编码器，利用 Weisfeiler-Lehman (WL) 核来度量图相似性，并指导神经架构图在连续潜在空间中的编码。
• 构建一种图嵌入模型，通过最小化原始图的 WL 核与嵌入向量余弦相似度之间的差异，来保留拓扑结构。
• 使用基于图相似性的对比损失训练图编码器，确保结构相似的架构在潜在空间中映射得更接近。
• 将预训练的图嵌入与有监督的效率得分预测器结合，从架构嵌入中估计模型准确率。
• 应用自举优化策略，通过确保候选架构在潜在空间中保持可行性与结构意义，来优化搜索过程。
• 利用所得嵌入与预测器，在广泛且无限制的搜索空间中高效且准确地搜索最优神经架构单元。

实验结果

研究问题

• RQ1 通过 Weisfeiler-Lehman 核引入图拓扑信息，能否提升基于估计器 NAS 中潜在空间的表征能力？
• RQ2 在图嵌入中引入拓扑相似性约束，对神经架构搜索中性能预测的准确率与稳定性有何影响？
• RQ3 与现有 NAS 方法相比，所提方法在保持或提升模型准确率的同时，能否显著降低搜索成本？
• RQ4 所学习的图嵌入在不同数据划分和小样本训练集上是否具备有效泛化能力，从而提升低数据场景下的鲁棒性？
• RQ5 在 NASBench-101 和 COCO 目标检测等标准基准上，NASGEM 的架构搜索性能与最先进方法相比如何？

主要发现

• 在使用图核嵌入时，NASGEM 在 NASBench-101 上将全局准确率提升了 0.2%，表明在数据有限条件下具有更好的泛化能力。
• 使用 NASGEM 的图嵌入训练的效率得分预测器，在仅使用 50% 训练数据的情况下，与真实准确率的皮尔逊相关系数达到 0.85，优于基线方法。
• NASGEM 发现的 GEMNet 架构在 CIFAR-10 和 ImageNet 上相比最先进模型，top-1 准确率提高 0.4%–3.6%，参数量减少 13%–62%，乘加操作数减少 11%–21%。
• 在 COCO 目标检测任务中，GEMNet 在单阶段和双阶段检测器中均超越了人工设计和自动搜索的模型，展现出强大的迁移能力。
• 消融研究证实，NASGEM 的嵌入方法在所有数据比例下均持续优于邻接矩阵展平和基于 MLP 的自编码器，肯德尔等级相关系数提升 0.03–0.09，皮尔逊相关系数提升 0.15–0.20。
• 该方法对不同嵌入维度和图大小具有鲁棒性，在不同配置下均表现出稳定的收敛性和低相似度损失，表明其具备强大的可扩展性与泛化能力。