[论文解读] Simplifying Architecture Search for Graph Neural Network

Huan Zhao, Lanning Wei+1 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Graph Neural Networks参考文献 33被引用 7

一句话总结

本文提出 SNAG，一种面向图神经网络（GNNs）的简化神经架构搜索框架，通过结合节点聚合器与层聚合器，构建了更具表现力且更紧凑的搜索空间，实现了高效的强化学习驱动架构搜索。SNAG 在节点分类任务上达到最先进性能，优于人工设计的 GNN 以及 GraphNAS 和 Auto-GNN 等先前的 NAS 方法，且由于其精简的搜索空间设计，显著缩短了搜索时间。

ABSTRACT

Recent years have witnessed the popularity of Graph Neural Networks (GNN) in various scenarios. To obtain optimal data-specific GNN architectures, researchers turn to neural architecture search (NAS) methods, which have made impressive progress in discovering effective architectures in convolutional neural networks. Two preliminary works, GraphNAS and Auto-GNN, have made first attempt to apply NAS methods to GNN. Despite the promising results, there are several drawbacks in expressive capability and search efficiency of GraphNAS and Auto-GNN due to the designed search space. To overcome these drawbacks, we propose the SNAG framework (Simplified Neural Architecture search for Graph neural networks), consisting of a novel search space and a reinforcement learning based search algorithm. Extensive experiments on real-world datasets demonstrate the effectiveness of the SNAG framework compared to human-designed GNNs and NAS methods, including GraphNAS and Auto-GNN.

研究动机与目标

• 为解决现有 GNN NAS 方法（如 GraphNAS 和 Auto-GNN）在表达能力与搜索效率方面的局限性。
• 设计一种比以往工作更简单且更具表现力的搜索空间，能够模拟更广泛的最先进 GNN 模型。
• 开发一种高效的基于强化学习的搜索算法，以高效发现高性能、数据特定的 GNN 架构。
• 研究层聚合器与权重共享在 GNN 架构搜索中的搜索效率与性能影响。
• 通过在真实世界图数据集上的大量实验，证明所提框架的优越性。

提出的方法

• 提出一种基于统一消息传递框架的新搜索空间，整合节点聚合器（如 GCN、GAT、SAGE-LSTM、GeniePath）与层聚合器（如 CONCAT、MAX、LSTM、IDENTITY、ZERO）。
• 设计一种基于强化学习的搜索算法，以在搜索空间中探索并优化验证数据上的架构性能。
• 引入一种变体 SNAG-WS，通过引入权重共享以加速搜索过程，但实验结果表明其收益有限。
• 采用两阶段训练流程：先通过强化学习进行架构搜索，再从头开始对所发现的最佳架构进行完整训练。
• 在所有实验中采用固定的 3 层 GNN 深度，以在性能与效率之间取得平衡。
• 在强化学习循环中使用验证准确率作为奖励信号，并采用早停策略以提升搜索效率。

实验结果

研究问题

• RQ1 与 GraphNAS 和 Auto-GNN 等现有方法相比，简化但更具表现力的搜索空间是否能同时提升 GNN 架构搜索的性能与效率？
• RQ2 层聚合器如何影响 GNN 架构的最终性能？其引入是否对实现最先进结果至关重要？
• RQ3 权重共享机制是否能显著加速 GNN NAS 中的搜索过程？其在实践中是否真正有益？
• RQ4 所提出的 SNAG 框架在多大程度上能发现优于人工设计 GNN 的架构，且在多样化的真实世界图数据集上表现优异？
• RQ5 与 GraphNAS 相比，SNAG 在收敛速度与随时间推移的准确率提升方面，其搜索效率如何？

主要发现

• SNAG 在 Cora、PubMed 和 PPI 数据集上均达到最先进性能，测试准确率分别为 88.26%（Cora）、88.77%（PubMed）和 98.87%（PPI），优于人工设计的 GNN 以及先前的 NAS 方法。
• 在 CiteSeer 数据集上，SNAG 达到 77.07% 的准确率，高于 GraphNAS，且与最佳基线相当，表明其在各类数据集上均具有一致的有效性。
• 由于其精简的搜索空间，SNAG 在搜索效率上显著优于 GraphNAS，如图 2 所示，在更短时间内达到更高的验证准确率。
• 从搜索空间中移除层聚合器后，所有数据集上的性能均出现一致下降，证实了层聚合器在架构表达能力中的关键作用。
• SNAG-WS 变体虽引入了权重共享，但相比 SNAG 仅带来微小改进，且未显著加速搜索过程，与 NAS 文献中的常见假设相矛盾。
• 所提出的搜索空间成功涵盖更广泛的 GNN 架构，包括 GeniePath 和 SAGE-LSTM，而这些架构在 GraphNAS 和 Auto-GNN 中被排除。