[论文解读] $p$-Laplacian Based Graph Neural Networks

Guoji Fu, Peilin Zhao+1 more|arXiv (Cornell University)|Nov 14, 2021

Advanced Graph Neural Networks参考文献 72被引用 4

一句话总结

该论文提出 p GNN，一种基于 p-Laplacian 的图神经网络，其消息传递机制源自离散正则化框架，可在同质图和异质图上实现有效学习。该方法在谱域中表现为低通-高通滤波器，自适应学习聚合权重，在异质性基准数据集上优于最先进 GNN 模型，且对噪声边具有鲁棒性。

ABSTRACT

Graph neural networks (GNNs) have demonstrated superior performance for semi-supervised node classification on graphs, as a result of their ability to exploit node features and topological information simultaneously. However, most GNNs implicitly assume that the labels of nodes and their neighbors in a graph are the same or consistent, which does not hold in heterophilic graphs, where the labels of linked nodes are likely to differ. Hence, when the topology is non-informative for label prediction, ordinary GNNs may work significantly worse than simply applying multi-layer perceptrons (MLPs) on each node. To tackle the above problem, we propose a new $p$-Laplacian based GNN model, termed as $^p$GNN, whose message passing mechanism is derived from a discrete regularization framework and could be theoretically explained as an approximation of a polynomial graph filter defined on the spectral domain of $p$-Laplacians. The spectral analysis shows that the new message passing mechanism works simultaneously as low-pass and high-pass filters, thus making $^p$GNNs are effective on both homophilic and heterophilic graphs. Empirical studies on real-world and synthetic datasets validate our findings and demonstrate that $^p$GNNs significantly outperform several state-of-the-art GNN architectures on heterophilic benchmarks while achieving competitive performance on homophilic benchmarks. Moreover, $^p$GNNs can adaptively learn aggregation weights and are robust to noisy edges.

研究动机与目标

• 解决现有 GNN 在异质图中受限的问题，其中相连节点通常具有不同标签。
• 提升 GNN 在非信息性或噪声拓扑图上的性能，避免标准 GNN 性能退化至 MLP 以下。
• 开发一种理论基础坚实的消息传递机制，超越标准 2-Laplacian 并适应局部节点嵌入变化。
• 使 GNN 能够在无需事先知晓图同质性的情况下，有效适用于同质和异质图设置。

提出的方法

• 提出一种基于 p-Laplacian 的消息传递机制，源自离散正则化框架，近似谱域中 p-Laplacian 上的多项式图滤波器。
• 消息传递规则在理论上被证明是图滤波的近似，其行为取决于 p 值，可表现为低通-高通滤波器。
• 引入依赖于节点嵌入局部变化（通过图梯度范数衡量）的自适应聚合权重，实现动态滤波行为。
• 设计一种新型 GNN 架构 p GNN，当 p=2 时可泛化现有模型如 SGC、APPNP 和 GPRGNN。
• 采用谱分析表明，p-Laplacian 滤波器可强调节点表示中的低频和高频分量。
• 使用可学习参数 p 控制滤波行为，使模型能自适应地匹配图的同质性水平和噪声特性。

实验结果

研究问题

• RQ1 基于 p-Laplacian 的消息传递机制是否能提升 GNN 在标准 GNN 失效的异质图上的性能？
• RQ2 p-Laplacian 消息传递机制在谱域中的行为如何？是否能作为低通-高通滤波器，以保留平滑和振荡模式？
• RQ3 所提出的 p GNN 模型是否能基于局部节点嵌入变化自适应学习聚合权重，尤其在噪声或非信息性拓扑中？
• RQ4 p GNN 是否能在同质图上实现竞争力表现，同时在异质性基准上显著超越基线模型？
• RQ5 p GNN 对边噪声的鲁棒性如何？在拓扑信息缺失时是否仍能保持性能？

主要发现

• p GNN 在异质性基准上实现最先进性能，在 Chameleon 和 Squirrel 等数据集上优于 GCN、GAT 和 GPRGNN。
• 在 Cora、CiteSeer 和 PubMed 同质性数据集上，p GNN 表现具有竞争力，其中 2.0 GNN 在 Physics 数据集上达到 95.05% 准确率，与 SGC 和 GCN 相当或更优。
• 在 Chameleon 数据集上，1.5 GNN 达到 86.94% 准确率，显著优于 GCN（84.12%）和 GAT（86.50%）。
• 在具有不同异质性水平的合成 cSBM 数据集上，p GNN 在所有设置中均保持高性能，展现出对图结构变化的鲁棒性。
• 在噪声边实验中，p GNN 在完全随机图上表现与 MLP 相当，而标准 GNN 显著退化。
• 通过 t-SNE 可视化显示，p GNN 在同质和异质图上均学习到更具区分性和更好分离的节点表示，优于 GCN 和其他基线模型。