[论文解读] Relational Pooling for Graph Representations

Ryan L. Murphy, Balasubramaniam Srinivasan+2 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Graph Neural Networks参考文献 63被引用 38

一句话总结

Relational Pooling (RP) 提供一个 permutation-invariant 框架，可以与各种神经网络架构结合，在图的表达力方面达到最大表达性，甚至在某些情况下超越 WL-GNNs，并实现 RP-GNNs 的增强能力。

ABSTRACT

This work generalizes graph neural networks (GNNs) beyond those based on the Weisfeiler-Lehman (WL) algorithm, graph Laplacians, and diffusions. Our approach, denoted Relational Pooling (RP), draws from the theory of finite partial exchangeability to provide a framework with maximal representation power for graphs. RP can work with existing graph representation models and, somewhat counterintuitively, can make them even more powerful than the original WL isomorphism test. Additionally, RP allows architectures like Recurrent Neural Networks and Convolutional Neural Networks to be used in a theoretically sound approach for graph classification. We demonstrate improved performance of RP-based graph representations over state-of-the-art methods on a number of tasks.

研究动机与目标

• 推动一个超越 WL-based GNNs 的最强图表示框架，用于具有顶点/边特征的图。
• 提出 Relational Pooling (RP) 作为对图表示的 permutation-invariant 聚合。
• 证明 RP 可以与多种神经网络架构（RNNs、CNNs、MLPs、GNNs）结合，并在理论上实现最大图表达性。
• 引入 RP 的可运算近似，以实现可扩展的图分类，并展示经验改进。

提出的方法

• 将 RP 定义为一个联合 permutation-invariant 函数，对所有顶点重新标记下的 permutation-sensitive 函数取平均（方程 1）。
• 通过分离 RP 将 RP 扩展到二分图（方程 2）。
• 当内部函数具有足够表达能力时，证明 RP 对有限图达到最大表达性（定理 2.1）。
• 通过嵌入 permutation-sensitive 标识符来区分对称的邻居结构，从而提升 WL-GNNs 并形成 RP-GNN（方程 5；定理 2.2）。
• 描述内部函数的神经网络架构，包括 RNNs、CNNs 和 GNNs，以及它们如何与 RP 集成。
• 给出可控性策略：canonical orientations、pi-SGD、以及 k-ary RP 以降低计算量（第 2.3.1–2.3.3 节）。

实验结果

研究问题

• RQ1 Relational Pooling 能否提供一个超越 WL-based GNNs、用于区分非同构图的最强图表示？
• RQ2 RP 如何与现有神经网络架构结合，以在保持可控性的同时增强图分类？
• RQ3 近似（canonical orientations、pi-SGD、k-ary RP）是否在实践中保持足够的表达性，优于 WL-GNNs？
• RQ4 将 RP 与 WL-GNNs（RP-GNN）结合时，相对于标准 WL 测试，理论上的表达性提升是多少？
• RQ5 RP 如何使非二分图的联合不变性和二分图的分离不变性得到泛化？

主要发现

• RP 定义了具有有限顶点/边属性集合的图的最大表达性 permutation-invariant 表示（定理 2.1）。
• RP-GNN 明显比标准 WL-GNN 更具表达力，当内部函数采用 GIN 时甚至可能超过 WL 测试（定理 2.2）。
• 在 RP 中利用对称敏感的内部函数可以创建更强的图表示。
• 近似 RP 的方法（canonical orientations、pi-SGD、k-ary RP）提供可控且表达性强的近似，适合图分类。
• RP 可以使用多样的架构实现（RNNs、CNNs、MLPs、GNNs），构建灵活而强大的图表示。