[论文解读] Search to aggregate neighborhood for graph neural network

Huan Zhao, Quanming Yao+1 more|arXiv (Cornell University)|Apr 14, 2021

Advanced Graph Neural Networks参考文献 52被引用 26

一句话总结

SANE 利用可微分的神经网络架构搜索自动设计数据特定的 GNN 架构，在多数据集上比基线模型更有效且更高效。

ABSTRACT

Recent years have witnessed the popularity and success of graph neural networks (GNN) in various scenarios. To obtain data-specific GNN architectures, researchers turn to neural architecture search (NAS), which has made impressive success in discovering effective architectures in convolutional neural networks. However, it is non-trivial to apply NAS approaches to GNN due to challenges in search space design and the expensive searching cost of existing NAS methods. In this work, to obtain the data-specific GNN architectures and address the computational challenges facing by NAS approaches, we propose a framework, which tries to Search to Aggregate NEighborhood (SANE), to automatically design data-specific GNN architectures. By designing a novel and expressive search space, we propose a differentiable search algorithm, which is more efficient than previous reinforcement learning based methods. Experimental results on four tasks and seven real-world datasets demonstrate the superiority of SANE compared to existing GNN models and NAS approaches in terms of effectiveness and efficiency. (Code is available at: https://github.com/AutoML-4Paradigm/SANE).

研究动机与目标

• 由于数据集/任务的异质性，激发对数据特定 GNN 架构的需求。
• 提出一种新的表达性搜索空间，用于 GNN，重点关注节点聚合器、层聚合器和跳跃连接。
• 开发一种可微分的一次性 NAS 方法，在所提出的空间上高效搜索。
• 在多个真实世界数据集上，跨迁移式、归纳式和数据库任务对 SANE 进行实证验证。

提出的方法

• 定义一个表达性搜索空间，其中包含节点聚合器、层聚合器和跳跃连接，可对多种 GNN 架构进行模拟。
• 构建一个超级网络（有向无环图，DAG），每条边具有来自预定义集合的混合操作；通过对候选操作的 softmax 放宽离散选择。
• 提出双层优化：架构参数 α 在验证损失上优化，网络权重 w 在训练损失上优化。
• 应用一次性可微分 NAS，通过梯度更新来更新 α，通过常规训练来更新权重，然后提取离散化的架构。
• 保留多次搜索运行中的 top-1 架构，并使用调优后的超参数重新训练以进行最终评估。

实验结果

研究问题

• RQ1 可微分 NAS 框架是否能够发现数据特定的 GNN 架构，超过手工设计的模型和基于 RL 的 NAS 方法？
• RQ2 一个紧凑而具表达性的节点聚合器、层聚合器和跳跃连接的搜索空间是否足以模拟多样化的 GNN？
• RQ3 一次性可微分 NAS 在现实世界数据集上用于实际 GNN 架构搜索是否足够高效？
• RQ4 所发现的架构在迁移、归纳和数据库任务中的表现如何？
• RQ5 被搜索出的架构在哪些方面揭示了任务和数据集特定设计选择的特征？

主要发现

• SANE 在跨越多个数据集的迁移和归纳任务上，一贯超过人工设计的 GNN 和 NAS 基线。
• 所提出的表达性搜索空间使 SANE 能够模拟广泛的架构并发现数据特定的配置。
• 可微分的一次性 NAS 方法在搜索效率上显著优于基于 RL 的 NAS 方法。
• SANE 发现的架构依赖于数据，并且通常利用跳跃连接和基于注意力的聚合器来实现出色的性能。
• SANE 在搜索时间上实现显著的效率提升，同时在多样化任务上交付了最先进的结果。