[论文解读] Principal Neighbourhood Aggregation for Graph Nets

Gabriele Corso, Luca Cavalleri+3 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Graph Theory Research参考文献 47被引用 244

一句话总结

本论文提出 Principal Neighbourhood Aggregation (PNA)，一种将多种聚合器与度数缩放器结合以处理连续特征的GNN层，并在合成多任务基准和真实世界数据集上展示其优越性能。

ABSTRACT

Graph Neural Networks (GNNs) have been shown to be effective models for different predictive tasks on graph-structured data. Recent work on their expressive power has focused on isomorphism tasks and countable feature spaces. We extend this theoretical framework to include continuous features - which occur regularly in real-world input domains and within the hidden layers of GNNs - and we demonstrate the requirement for multiple aggregation functions in this context. Accordingly, we propose Principal Neighbourhood Aggregation (PNA), a novel architecture combining multiple aggregators with degree-scalers (which generalize the sum aggregator). Finally, we compare the capacity of different models to capture and exploit the graph structure via a novel benchmark containing multiple tasks taken from classical graph theory, alongside existing benchmarks from real-world domains, all of which demonstrate the strength of our model. With this work, we hope to steer some of the GNN research towards new aggregation methods which we believe are essential in the search for powerful and robust models.

研究动机与目标

• 用连续特征的情况下，阐明在 GNNs 中需要更丰富的邻域聚合的动机。
• 提出 Principal Neighbourhood Aggregation (PNA) 架构，将多个聚合器与基于度数的缩放器耦合。
• 理论上证明在连续特征空间中，注入性需要多个聚合器。
• 在多任务合成基准和真实世界数据集上对 PNA 进行经验评估，并与标准 GNN 层进行比较。

提出的方法

• 使用聚合器定义连续特征在邻域多重集合上的注入性极限。
• 引入度数缩放器，包括对数缩放器，用于按节点度数 (d) 调节信息传递。
• 通过张量积将四个聚合器（均值、最大值、最小值、标准差）与三个度数缩放器结合，形成 PNA 运算符。
• 将 PNA 嵌入一个 encode-process-decode 的 GNN 架构，层间参数共享，深度可变。
• 开发一个受经典图问题启发的多任务合成基准，用以测试表达能力和泛化。
• 按照既定的训练协议，在真实世界图数据集（ZINC、MolHIV、CIFAR10、MNIST）上评估 PNA，以公平比较。

实验结果

研究问题

• RQ1 与单聚合模型相比，使用多个聚合器是否能在具有连续特征的情况下提升 GNN 的表达能力？
• RQ2 度数缩放器如何影响对不同大小邻域在 GNN 中的区分度？
• RQ3 PNA 能否在合成多任务基准和真实世界图数据集上超越现有的 GNN 层？
• RQ4 PNA 对更大图和不同图域的泛化（外推）有何影响？

主要发现

• PNA 在多任务人工基准上持续超越最先进模型。
• PNA 在所测试的所有架构布局和图类型中显示出更强的性能。
• 在真实世界的化学基准中，PNA（带缩放器）提高了性能，而不带缩放器的版本在邻域大小区分上表现不佳。
• 将基线模型的潜在维度提高并不能弥补与 PNA 的差距。
• 在外推测试中，PNA 在更大图上保持优越性能，尽管与其他模型相比可能出现某些特征爆炸。