[论文解读] Natural Graph Networks

Pim de Haan, Taco Cohen+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Graph Neural Networks参考文献 35被引用 29

一句话总结

本文提出了自然图网络（NGNs），一种通过用更广泛的自然性概念替代排列等变性来泛化图神经网络的框架，从而实现更灵活、更具表现力的模型。通过使用由消息网络参数化的局部等变核进行消息传递，NGNs 在图分类基准上实现了具有竞争力的性能，同时保持了可扩展性并具备节点重标记不变性。

ABSTRACT

A key requirement for graph neural networks is that they must process a graph in a way that does not depend on how the graph is described. Traditionally this has been taken to mean that a graph network must be equivariant to node permutations. Here we show that instead of equivariance, the more general concept of naturality is sufficient for a graph network to be well-defined, opening up a larger class of graph networks. We define global and local natural graph networks, the latter of which are as scalable as conventional message passing graph neural networks while being more flexible. We give one practical instantiation of a natural network on graphs which uses an equivariant message network parameterization, yielding good performance on several benchmarks.

研究动机与目标

• 解决消息传递GNN的局限性，即受限于排列等变性且在复杂图上表达力不足。
• 开发一种更通用、更灵活的图神经网络框架，对任意节点重标记保持不变。
• 通过利用自然性和范畴论概念，实现可扩展的局部等变消息传递。
• 设计一种基于等变消息网络进行核参数化的自然图网络实用实例。
• 证明自然图网络在标准图分类基准上可实现具有竞争力的性能。

提出的方法

• 使用范畴论中的自然性概念定义图网络，以更一般的同构重标记不变性替代严格的等变性。
• 引入全局和局部自然图网络，其中局部NGN使用受局部同构约束的核进行消息传递。
• 通过处理局部图结构的等变消息网络来参数化消息传递核。
• 确保核约束与消息网络在节点重标记下的等变性相匹配，从而实现通用近似。
• 将该框架应用于不规则图（如知识图）场景，其中传统等变方法因对称性低而失效。
• 使用固定架构（GCN-2）在标准图分类基准上进行训练与评估。

实验结果

研究问题

• RQ1 范畴论中的自然性概念能否用于定义比排列等变性更通用、更具表现力的图神经网络类别？
• RQ2 如何在不牺牲可扩展性的前提下，使局部消息传递对局部同构保持不变？
• RQ3 能否使用消息网络以保持等变性并实现通用近似的方​​式来参数化核？
• RQ4 具有消息传递架构的自然图网络是否能在标准图基准上实现具有竞争力的性能？
• RQ5 自然图网络的性能与全局等变模型及标准消息传递GNN相比如何？

主要发现

• 所提出的自然图网络（NGN）模型在NCI109数据集上达到最先进性能，排名所有测试方法中的第1名。
• 在IMDB-B和IMDB-M数据集上，NGN模型排名第二，优于大多数基线方法，包括GIN和PPGN。
• 在NCI109上，模型达到83.00% ± 1.89的准确率，甚至超过表现最佳的全局等变模型（如PPGN v2）。
• 在MUTAG上，模型达到89.39% ± 1.60的准确率，排名第五，但方差显著低于许多竞争对手。
• NGN模型在性能上可与全局等变方法（如PPGN）相媲美，同时保持了消息传递GNN的可扩展性。
• 附录B的实证结果证实了模型的表达力和合理的运行时成本，支持其实际可行性。