[论文解读] Ordered Subgraph Aggregation Networks

Chendi Qian, Gaurav Rattan+3 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了有序子图聚合网络（k-OSANs），这是一种统一的理论框架，通过可学习的、数据驱动的采样方式对子图选择进行建模，从而捕捉并扩展了子图增强的GNN。关键贡献在于证明了增大子图规模可一致提升表达能力，且实证结果表明，通过I-MLE实现的可微分子图采样，相较于非数据驱动的基线方法，能显著提升准确率并减少计算开销。

ABSTRACT

Numerous subgraph-enhanced graph neural networks (GNNs) have emerged recently, provably boosting the expressive power of standard (message-passing) GNNs. However, there is a limited understanding of how these approaches relate to each other and to the Weisfeiler-Leman hierarchy. Moreover, current approaches either use all subgraphs of a given size, sample them uniformly at random, or use hand-crafted heuristics instead of learning to select subgraphs in a data-driven manner. Here, we offer a unified way to study such architectures by introducing a theoretical framework and extending the known expressivity results of subgraph-enhanced GNNs. Concretely, we show that increasing subgraph size always increases the expressive power and develop a better understanding of their limitations by relating them to the established $k ext{-}\mathsf{WL}$ hierarchy. In addition, we explore different approaches for learning to sample subgraphs using recent methods for backpropagating through complex discrete probability distributions. Empirically, we study the predictive performance of different subgraph-enhanced GNNs, showing that our data-driven architectures increase prediction accuracy on standard benchmark datasets compared to non-data-driven subgraph-enhanced graph neural networks while reducing computation time.

研究动机与目标

• 将多样化的子图增强GNN架构统一到一个共同的理论框架下进行分析与建模。
• 阐明子图增强GNN与k-WL层级在表达能力方面的关系。
• 提出一种适应数据分布的数据驱动子图采样方法，避免使用固定启发式规则或穷举枚举。
• 通过实证验证，可学习的子图采样可在提升预测准确率的同时降低计算成本。

提出的方法

• 提出k-OSANs作为理论框架，通过将子图建模为有序顶点集合，并利用可学习函数对表示进行聚合，从而泛化子图增强GNN。
• 在每个子图内部使用消息传递机制，其中顶点表示通过邻域聚合进行更新，并通过指示特征对标记顶点（如被删除或高亮的顶点）进行编码。
• 采用I-MLE框架实现可微分子图采样，通过基于扰动的梯度估计，使反向传播能够通过离散的子图选择过程。
• 引入分层架构，其中更大的子图（更高的k）可产生严格更强的表达能力，其表达能力上限为(k+1)-WL。
• 通过全局聚合函数对所有子图表示进行聚合，定义最终的图级别表示，从而支持顶点级与图级别预测。
• 证明了通过将子图策略编码为框架的特定配置，k-OSANs可模拟现有的子图增强GNN（如DS-GNNs、kernelGNNs和nestedGNNs）。

实验结果

研究问题

• RQ1 子图增强GNN在表达能力上与k-WL层级有何关系？
• RQ2 增大子图规模是否能一致地提升GNN的表达能力？
• RQ3 子图选择能否以数据驱动且可微分的方式学习，从而提升性能与效率？
• RQ4 在实践中，数据驱动的子图采样策略与均匀采样或手工设计的启发式方法相比表现如何？
• RQ5 k-OSANs的表达能力上限是什么？其与k-WL相比有何差异？

主要发现

• 在k-OSANs中，增大子图规模k可一致提升表达能力，形成一个严格的层级结构。
• k-OSANs在表达能力上受(k+1)-WL的上界约束，且与k-WL不可比较，表明其具有独特且可能更灵活的表达能力。
• 所提出的基于数据驱动的k-OSANs在标准图基准数据集上的预测准确率高于非数据驱动的子图增强GNN。
• 尽管准确率提升显著，k-OSANs在计算时间上相比穷举子图枚举基线方法大幅减少。
• 该框架通过适当的参数化，成功捕捉并泛化了现有的子图增强GNN（如DS-GNNs、kernelGNNs和基于ego-net的模型）。
• 实证结果证实，通过I-MLE实现的可微分子图采样能够实现高效且有效的学习，优于随机或启发式子图选择策略。