[论文解读] NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search

Yijian Qin, Ziwei Zhang+3 more|arXiv (Cornell University)|Jun 18, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

本论文提出 NAS-Bench-Graph，这是首个图神经架构搜索（GraphNAS）的基准，实现了统一、可复现且高效的 GNN 架构评估。该基准对九个数据集上的 26,206 种独特 GNN 架构进行了预训练与评估，允许通过查表方式无需重新训练即可快速获取性能指标，从而消除计算开销，并确保不同方法间的公平比较。

ABSTRACT

Graph neural architecture search (GraphNAS) has recently aroused considerable attention in both academia and industry. However, two key challenges seriously hinder the further research of GraphNAS. First, since there is no consensus for the experimental setting, the empirical results in different research papers are often not comparable and even not reproducible, leading to unfair comparisons. Secondly, GraphNAS often needs extensive computations, which makes it highly inefficient and inaccessible to researchers without access to large-scale computation. To solve these challenges, we propose NAS-Bench-Graph, a tailored benchmark that supports unified, reproducible, and efficient evaluations for GraphNAS. Specifically, we construct a unified, expressive yet compact search space, covering 26,206 unique graph neural network (GNN) architectures and propose a principled evaluation protocol. To avoid unnecessary repetitive training, we have trained and evaluated all of these architectures on nine representative graph datasets, recording detailed metrics including train, validation, and test performance in each epoch, the latency, the number of parameters, etc. Based on our proposed benchmark, the performance of GNN architectures can be directly obtained by a look-up table without any further computation, which enables fair, fully reproducible, and efficient comparisons. To demonstrate its usage, we make in-depth analyses of our proposed NAS-Bench-Graph, revealing several interesting findings for GraphNAS. We also showcase how the benchmark can be easily compatible with GraphNAS open libraries such as AutoGL and NNI. To the best of our knowledge, our work is the first benchmark for graph neural architecture search.

研究动机与目标

• 为解决 GraphNAS 研究中缺乏标准化实验设置的问题，该问题阻碍了不同研究之间的公平且可复现的比较。
• 克服 GraphNAS 中高昂的计算成本，该问题限制了缺乏大规模计算资源的研究人员的可及性。
• 建立一个统一、表达能力强且紧凑的 GNN 架构搜索空间，涵盖多样化且具有代表性的模型。
• 提供一个预评估的基准，包含所有架构的详细指标（准确率、延迟、参数量），实现性能的即时查询。
• 展示与现有 GraphNAS 库（如 AutoGL 和 NNI）的兼容性，支持与多种搜索策略的集成。

提出的方法

• 设计一种基于受限有向无环图（DAG）的宏观搜索空间，系统性地组合七种 GNN 操作，生成 26,206 种独特的 GNN 架构。
• 定义一种严谨的评估协议，包括在九个代表性图数据集上标准化的数据集划分、超参数设置和训练流程。
• 在每个数据集上训练并评估全部 26,206 种架构，记录每个训练轮次的指标，如训练/验证/测试准确率、延迟和模型大小。
• 构建一个查找表，存储所有性能指标，实现无需重新训练即可即时访问架构性能。
• 应用统计分析（如 ANOVA 中的 eta-squared）评估架构组件的重要性，特别是深层与浅层结构的影响。
• 将 NAS-Bench-Graph 与 AutoGL 和 NNI 集成，以验证其在多种搜索算法（包括随机搜索、进化算法和强化学习）中的兼容性与可用性。

实验结果

研究问题

• RQ1 不同数据集上 GNN 架构的性能分布如何变化？高性能模型的频率如何？
• RQ2 与浅层结构相比，深层结构中的架构选择对最终模型性能的影响有多大？
• RQ3 在不同图数据集之间，表现最佳的架构可迁移性如何？跨数据集的性能相关性如何？
• RQ4 该基准能否支持对多种 GraphNAS 方法（包括随机搜索、强化学习和进化算法）进行高效且公平的比较？
• RQ5 架构-性能景观的平滑程度如何？这是否支持使用基于变异的搜索策略？

主要发现

• 高性能 GNN 架构较为稀少，且其延迟特性各不相同，表明准确率与效率之间存在权衡。
• 架构性能显著受深层结构选择的影响，远超浅层结构，这由反向分组分析中更高的 eta-squared 值所证实。
• 不同数据集之间架构性能的相关性较弱，表明将某一数据集上的最优模型迁移到另一数据集通常无法获得最优结果。
• 架构空间具备足够的平滑性，支持基于变异的搜索策略，为在 GraphNAS 中使用进化算法提供了支持。
• 在多个数据集上，随机搜索的表现优于更复杂的算法，表明当前的搜索策略可能尚未充分挖掘性能景观的潜力。
• 所有评估的 NAS 方法（随机搜索、进化算法、强化学习）均超越了前 5% 架构的性能，证明该基准能够有效学习性能模式。