[论文解读] Revisiting Heterophily For Graph Neural Networks

Sitao Luan, Chenqing Hua+6 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Graph Neural Networks被引用 70

一句话总结

论文通过重新定义同质性为聚合后节点相似性，引入自适应通道混合（ACM）以利用聚合、多样化和身份通道，并展示ACM在异质图上的节点分类性能提升。

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using graph structures based on the relational inductive bias (homophily assumption). While GNNs have been commonly believed to outperform NNs in real-world tasks, recent work has identified a non-trivial set of datasets where their performance compared to NNs is not satisfactory. Heterophily has been considered the main cause of this empirical observation and numerous works have been put forward to address it. In this paper, we first revisit the widely used homophily metrics and point out that their consideration of only graph-label consistency is a shortcoming. Then, we study heterophily from the perspective of post-aggregation node similarity and define new homophily metrics, which are potentially advantageous compared to existing ones. Based on this investigation, we prove that some harmful cases of heterophily can be effectively addressed by local diversification operation. Then, we propose the Adaptive Channel Mixing (ACM), a framework to adaptively exploit aggregation, diversification and identity channels node-wisely to extract richer localized information for diverse node heterophily situations. ACM is more powerful than the commonly used uni-channel framework for node classification tasks on heterophilic graphs and is easy to be implemented in baseline GNN layers. When evaluated on 10 benchmark node classification tasks, ACM-augmented baselines consistently achieve significant performance gain, exceeding state-of-the-art GNNs on most tasks without incurring significant computational burden.

研究动机与目标

• 批判性评估当前的同质性度量及其在描述 GNN 中异质性影响方面的局限性。
• 提出一个基于聚合后相似性的框架，以更好地刻画图结构对学习的影响。
• 开发 ACM，以自适应地将聚合、分化和身份通道结合用于节点分类。

提出的方法

• 定义聚合后节点相似性 S(Â,X) = ÂX(ÂX)ᵀ 以及新的基于聚合的同质性度量 H_agg 与 H_agg^M。
• 通过高通滤波 I-Â 展示分化可解决某些有害异质性的情况。
• 提出带有三个通道（LP、HP、Identity）的自适应通道混合（ACM）框架，并进行逐节点加权以将它们组合。
• 提供两种 ACM 实例（ACM 和 ACMII），包含显式特征提取、逐节点通道权重及最终聚合。
• 分析复杂度：ACM 增加参数和运算，并给出经验消融分析和效率讨论。

实验结果

研究问题

• RQ1 现有的同质性度量如何未能捕捉聚合后异质性效应？
• RQ2 通过高通滤波进行分化是否能在局部、逐节点的方式缓解有害的异质性？
• RQ3 在异质图上，自适应多通道框架（ACM）是否优于单通道的 GNN 基线？
• RQ4 使用 ACM/ACMII 时，准确性提升与计算成本之间的实际权衡是什么？
• RQ5 基于 ACM 的模型在异质性和同质性基准数据集上的表现如何？
• RQ6 有哪些理论保证或条件支持将分化作为异质性的补救？

主要发现

• 新的基于聚合的同质性度量与 GNN 性能的相关性优于传统的边/节点/类别度量。
• 通过高通滤波实现的分化在某些局部邻域有助于缓解有害的异质性。
• ACM 和 ACMII 在 7 个异质性基准上持续提升基线 GNN，在大多数任务中超过了最新模型。
• 基于 ACM 的模型在同质图上也实现具有竞争力的性能，且相对于基线有可控的计算开销。
• 逐节点自适应通道混合为 LP、HP 和 Identity 通道学习逐节点权重，使对多样的局部异质性具备灵活处理能力。
• 消融研究表明，在自适应混合下添加 HP 和 Identity 通道相对于简单通道堆叠可带来实质性提升。