[论文解读] Simplified Graph Convolution with Heterophily

Sudhanshu Chanpuriya, Cameron Musco|arXiv (Cornell University)|Feb 8, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出自适应简单图卷积（ASGC），一种非深度、快速且可解释的方法，通过为每个特征自适应调整特征平滑滤波器，以处理同质与异质图结构。与在异质图上表现失败的SGC不同，ASGC在真实世界数据集（包括强异质性数据集）上实现了与最先进深度模型相当的性能，并在一种新型合成模型（FSBM）下，理论上保证了在两类图结构中均能去噪特征。

ABSTRACT

Recent work has shown that a simple, fast method called Simple Graph Convolution (SGC) (Wu et al., 2019), which eschews deep learning, is competitive with deep methods like graph convolutional networks (GCNs) (Kipf & Welling, 2017) in common graph machine learning benchmarks. The use of graph data in SGC implicitly assumes the common but not universal graph characteristic of homophily, wherein nodes link to nodes which are similar. Here we confirm that SGC is indeed ineffective for heterophilous (i.e., non-homophilous) graphs via experiments on synthetic and real-world datasets. We propose Adaptive Simple Graph Convolution (ASGC), which we show can adapt to both homophilous and heterophilous graph structure. Like SGC, ASGC is not a deep model, and hence is fast, scalable, and interpretable; further, we can prove performance guarantees on natural synthetic data models. Empirically, ASGC is often competitive with recent deep models at node classification on a benchmark of real-world datasets. The SGC paper questioned whether the complexity of graph neural networks is warranted for common graph problems involving homophilous networks; our results similarly suggest that, while deep learning often achieves the highest performance, heterophilous structure alone does not necessitate these more involved methods.

研究动机与目标

• 为解决简单图卷积（SGC）在处理节点连接到不相似邻居的异质图时的局限性。
• 开发一种非深度、可扩展且可解释的方法，能够适应同质与异质图结构。
• 提出一个理论框架——特征随机块模型（FSBMs），用于分析并证明在两类图结构中特征去噪的性能保证。
• 通过实证验证，ASGC在包含强异质性的多样化真实世界数据集中实现了具有竞争力的节点分类准确率。
• 挑战深度学习在异质图上实现高性能所必需的假设，表明简单、非深度方法同样有效。

提出的方法

• ASGC使用线性最小二乘法为每个输入特征学习不同的平滑滤波器，从而实现对同质（平滑）与异质（非平滑）结构的适应。
• 该方法通过学习到的滤波器矩阵执行特征传播，将SGC中固定的对称归一化替换为自适应的、特征特定的滤波。
• 其将节点分类表述为正则化最小二乘问题：最小化 $ \| \mathbf{X} \mathbf{W} - \mathbf{Y} \|_F^2 + \lambda \| \mathbf{W} \|_F^2 $，其中 $ \mathbf{W} $ 是每个特征学习到的权重矩阵。
• 滤波过程等价于求解一个正则化回归问题，基于图结构对特征进行去噪，正则化强度通过交叉验证调优。
• ASGC计算高效且可解释，避免了反向传播与深度非线性，与GCN及其他GNN不同。
• 该方法在包含同质与异质网络的10个真实世界数据集基准上进行了评估，采用标准的训练/验证/测试划分。

实验结果

研究问题

• RQ1 像SGC这样的简单非深度方法能否有效处理节点连接到不相似邻居的异质图？
• RQ2 如何在不使用深度学习的情况下，自适应地调整特征平滑以同时处理同质与异质图结构？
• RQ3 是否存在一种理论基础坚实的合成模型，能够捕捉同质与异质性，并支持对性能的正式分析？
• RQ4 非深度方法能否在混合同质与异质性的现实世界数据集中实现与近期深度GNN相当的性能？
• RQ5 深度模型在异质图上是否存在明确的性能优势，还是简单的特征预处理已足够？

主要发现

• ASGC在异质数据集（如PubMed、Actor和Texas）上显著优于SGC，后者因固定平滑滤波器而失效。
• 在10个真实世界数据集的基准测试中，ASGC在每个数据集上的最低测试准确率均超过最佳方法的90%，优于SGC，并与GPR-GNN和Geom-GCN等深度模型相当或更优。
• ASGC在数据集间的平均比例准确率仅次于GPR-GNN，且最低性能最高，表明其鲁棒性极强。
• 理论分析表明，ASGC可在同质与异质FSBM中实现特征去噪，而SGC在异质情况下会失效。
• 在同质数据集上，ASGC仍能与深度模型保持竞争力，证实非深度方法在标准设置下同样有效。
• 结果表明，深度学习并非异质图上高性能的必要条件，简单的自适应特征滤波已足够。