[论文解读] Reconstruction for Powerful Graph Representations

Leonardo Cotta, Christopher Morris+1 more|arXiv (Cornell University)|Oct 1, 2021

Advanced Graph Neural Networks参考文献 100被引用 4

一句话总结

该论文提出 k-重建图神经网络（k-Reconstruction GNNs），一种新颖的框架，通过从其 k-顶点子图重建图来增强图神经网络（GNNs）的性能，显著提升表达能力的同时保持排列不变性。该方法使 GNN 能够解决七个此前无法解决的图属性任务，并在九个真实世界基准上将性能提升高达 25%，展现出理论表达能力与实际可扩展性的结合。

ABSTRACT

Graph neural networks (GNNs) have limited expressive power, failing to represent many graph classes correctly. While more expressive graph representation learning (GRL) alternatives can distinguish some of these classes, they are significantly harder to implement, may not scale well, and have not been shown to outperform well-tuned GNNs in real-world tasks. Thus, devising simple, scalable, and expressive GRL architectures that also achieve real-world improvements remains an open challenge. In this work, we show the extent to which graph reconstruction -- reconstructing a graph from its subgraphs -- can mitigate the theoretical and practical problems currently faced by GRL architectures. First, we leverage graph reconstruction to build two new classes of expressive graph representations. Secondly, we show how graph reconstruction boosts the expressive power of any GNN architecture while being a (provably) powerful inductive bias for invariances to vertex removals. Empirically, we show how reconstruction can boost GNN's expressive power -- while maintaining its invariance to permutations of the vertices -- by solving seven graph property tasks not solvable by the original GNN. Further, we demonstrate how it boosts state-of-the-art GNN's performance across nine real-world benchmark datasets.

研究动机与目标

• 解决标准 GNN 表达能力有限的问题，这些 GNN 无法区分某些图类，如环图和强正则图。
• 克服基于 k-WL 或同构性测试的现有表达性 GNN 架构在可扩展性和实现上的挑战。
• 开发一种实用、可扩展且理论基础坚实的 GNN 增强方法，利用图重建作为归纳偏置。
• 证明重建通过在顶点移除不变性下作为低方差风险估计器，可改善泛化能力。
• 通过利用重建猜想，将图论与表征学习相连接，设计无需依赖昂贵同构性测试的通用近似器。

提出的方法

• 提出 k-重建神经网络（k-RNNs），一类能够从其诱导的 k-顶点子图重建图的表达性 GNN。
• 引入 k-重建 GNN 作为通用方法，通过整合子图重建来增强任何现有 GNN 架构。
• 以重建猜想为理论基础，证明 k-重建 GNN 在有界大小带属性图上可实现通用近似。
• 设计一种可微、可扩展的训练流程，在训练期间采样子图，相比完整同构性测试显著降低内存和计算成本。
• 利用顶点移除下顶点表征的变化，作为重建全局图属性（如直径和谱半径）的信号。
• 通过在 GNN 层中使用对称聚合，确保子图表征对顺序不敏感，从而保持排列不变性。

实验结果

研究问题

• RQ1 从 k-顶点子图重建图能否作为强大的归纳偏置，显著提升 GNN 的表达能力？
• RQ2 k-重建 GNN 在多大程度上能够区分 1-WL 和 2-WL 无法分离的图类（如环图和强正则图）？
• RQ3 在真实世界图学习任务中，尤其在顶点移除不变性下，重建如何改善泛化能力？
• RQ4 重建能否在不牺牲可扩展性或排列不变性的情况下集成到现有 GNN 架构中？
• RQ5 在训练期间使用子图采样是否能在降低计算成本的同时保持性能，相比精确重建？

主要发现

• k-重建 GNN 成功解决了七个合成图属性任务（如环检测和直径估计），这些任务此前无法被标准 GNN 解决。
• 该方法在九个真实世界基准数据集上将 GNN 性能提升高达 25%，并在包括分子属性预测和社会网络分析在内的多样化任务中保持一致增益。
• 使用 (n-1)-重建 GNN 并结合子图采样（例如 15 个子图）时，训练损失和收敛速度可达到精确模型的 21% 以内，同时无论图大小如何，均使用固定的 GPU 内存。
• 当底层图生成分布对顶点移除保持不变时，重建作为低方差风险估计器，可改善泛化能力。
• k-重建 GNN 保持了排列不变性（而 Ring-GNN、PPGN 和 Positional GIN 不具备），同时解决了所有测试的图属性任务。
• 该方法避免了昂贵的同构性测试和固定大小无属性图的限制，实现了对有界大小带属性图的可扩展通用近似。