[论文解读] Rethinking Graph Neural Architecture Search from Message-passing

Shaofei Cai, Liang Li+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Graph Neural Networks参考文献 40被引用 7

一句话总结

该论文提出图神经网络架构搜索（GNAS），一种新颖的神经架构搜索框架，从消息传递机制重新思考图神经网络架构搜索。通过设计基于树状拓扑的计算范式，并引入细粒度的原子操作——特征过滤与邻居聚合，GNAS 自动发现具有最优消息传递深度的图神经网络架构。实验表明，GNAS 在五个大规模数据集上的节点分类、链接预测和图回归任务中，均优于当前最先进的手动设计与搜索型图神经网络，在更低深度与更少计算成本下实现了更优的准确率。

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at https://github.com/phython96/GNAS-MP.

研究动机与目标

• 为解决手动图神经网络设计的局限性，即需要大量人工专业知识来选择消息传递机制与深度。
• 克服图神经网络中手动枚举深度带来的高计算成本，避免网络过深导致的性能下降。
• 构建一个不限于预训练图神经网络的搜索空间，而是从消息传递机制的根本出发，提升模型的表达能力与性能。
• 通过可微分的、基于梯度的搜索策略，实现最优消息传递深度的自动发现。

提出的方法

• 提出基于树状拓扑计算流程的图神经网络架构范式（GAP），包含两类细粒度原子操作：特征过滤与邻居聚合。
• 通过门控机制设计特征过滤，实现自适应特征选择，提升表征学习能力。
• 引入使用求和、平均与最大值操作的邻居聚合机制，以捕捉结构信息与邻域统计特征。
• 构建三级搜索空间，支持原子操作的灵活组合，形成多样化的图神经网络架构。
• 采用基于梯度的搜索策略，高效优化架构参数，实现端到端可微分的架构搜索。
• 通过架构搜索空间的可微松弛，实现梯度流动与架构参数及模型权重的联合优化。

实验结果

研究问题

• RQ1 是否能从消息传递机制直接衍生出的搜索空间，优于那些复用预训练图神经网络作为操作的现有NAS方法？
• RQ2 所提出的GNAS框架是否能自动发现最优消息传递深度，而非依赖人工枚举？
• RQ3 GNAS在多样化图学习任务中，相较于当前最先进的手动设计与搜索型图神经网络，性能表现如何？
• RQ4 GNAS所选择的偏好架构组件（如聚合器类型、滤波器类型）是什么？这些选择在不同数据集中有何差异？
• RQ5 GNAS是否能在更少参数量与更短训练时间下，实现优于现有方法的性能？

主要发现

• GNAS在五个大规模数据集上的三类经典图学习任务（节点分类、链接预测、图属性回归）中均达到最先进性能。
• 在ZINC图回归数据集上，GNAS使用12层模型实现MAE为0.242，优于更深的模型（如16层GatedGCN，MAE为0.340），并超越GraphNAS（需120小时搜索时间）。
• GNAS在ZINC数据集上发现的最优消息传递深度位于12至14层之间，与经验评估结果一致，表明该范围性能达到峰值。
• GNAS始终偏好使用最大值聚合器，而非求和与平均聚合器，表明其更倾向于捕捉具有代表性的节点特征。
• 搜索过程高效：GNAS在ZINC数据集上仅用1.75小时完成架构搜索，远快于GraphNAS的120小时，且性能更优。
• 在CIFAR10数据集上，GNAS比在MNIST上更频繁地选择密集滤波器，反映出前者节点特征复杂度更高。