[论文解读] The Expressive Power of Graph Neural Networks: A Survey

Bingxu Zhang, Changjun Fan+5 more|arXiv (Cornell University)|Aug 16, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本综述为理解图神经网络（GNNs）的表达能力提供了一个统一的理论框架，将提升其表达能力的方法归类为三大支柱：图特征增强、图拓扑增强和GNN架构增强。它指出了当前基准测试和评估指标的局限性，倡导基于物理的GNN设计与图神经架构搜索，为未来GNN表达能力的研究提供了标准化路径。

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for many graph-related applications. Despite their empirical success, many research efforts focus on the theoretical limitations of GNNs, i.e., the GNNs expressive power. Early works in this domain mainly focus on studying the graph isomorphism recognition ability of GNNs, and recent works try to leverage the properties such as subgraph counting and connectivity learning to characterize the expressive power of GNNs, which are more practical and closer to real-world. However, no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a first survey for models for enhancing expressive power under different forms of definition. Concretely, the models are reviewed based on three categories, i.e., Graph feature enhancement, Graph topology enhancement, and GNNs architecture enhancement.

研究动机与目标

• 为解决目前缺乏对GNN表达能力的全面综述，特别是针对子图计数、连通性学习以及超越Weisfeiler-Lehman（WL）测试的逻辑能力问题。
• 通过区分特征嵌入能力与拓扑表征能力，统一GNN表达能力的定义。
• 识别限制GNN表达能力的关键因素，包括对全局图结构捕捉不足以及排列不变聚合的局限性。
• 批判现有基准测试与评估指标，指出其问题如使用合成数据集、基线不一致，以及过度依赖整体模型性能来评估表达能力，从而混淆了多种影响因素。
• 提出未来研究方向，包括基于物理的GNN设计与针对表达能力增强的图神经架构搜索（GraphNAS）。

提出的方法

• 提出一个统一的理论框架，通过两个组成部分定义GNN的表达能力：特征嵌入能力与拓扑表征能力。
• 将现有提升表达能力的方法分类为三类：图特征增强、图拓扑增强与GNN架构增强。
• 分析k-WL层级作为表达能力度量的局限性，指出其在k > 3时不够精确，且需要更精细的评估层级。
• 回顾受物理启发的GNN，这些模型脱离了消息传递范式，利用微分几何与代数拓扑实现更高的表达能力。
• 提出图神经架构搜索（GraphNAS）作为一种低成本、自动化的GNN设计方法，以增强表达能力，强调搜索空间应优先考虑表达能力而非泛化能力。
• 批判当前的评估实践，倡导使用真实世界数据集的标准化基准与专门针对表达能力的评估指标，独立于下游任务性能。

实验结果

研究问题

• RQ1 在经典WL测试之外，定义GNN表达能力的关键组件是什么？
• RQ2 图特征增强、拓扑增强与架构增强在提升GNN表达能力方面有何不同贡献？
• RQ3 为何当前用于GNN表达能力的评估基准与指标被认为不可靠或不充分？
• RQ4 限制GNN表达能力的根本因素是什么？它们与排列不变性及全局结构捕捉能力有何关联？
• RQ5 如何利用基于物理的模型与图神经架构搜索（GraphNAS）来设计更具表达能力的GNN？

主要发现

• GNN的表达能力受限于其无法有效捕捉全局图拓扑结构以及保持排列不变性，这限制了其区分非同构图的能力。
• 现有评估实践存在缺陷，原因在于依赖无节点特征的合成数据集、基线选择不一致，以及将整体模型性能作为表达能力的代理指标，从而混淆了多种影响因素。
• k-WL层级对k > 3时过于粗糙，无法提供可靠的表达能力评估，亟需开发更精细的评估层级。
• 基于微分几何与代数拓扑的物理启发GNN可通过脱离传统消息传递范式，实现更高的表达能力。
• 图神经架构搜索（GraphNAS）为增强表达能力提供了有前景的自动化路径，但当前的搜索空间更注重泛化能力而非表达能力，形成了关键的研究空白。
• 提出一个统一的理论框架，以标准化分析GNN的表达能力，整合特征与拓扑表征能力，实现对未来模型的系统化评估与比较。