[论文解读] New Benchmarks for Learning on Non-Homophilous Graphs

Derek Lim, Xiuyu Li+2 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Graph Neural Networks参考文献 58被引用 25

一句话总结

该论文介绍了更大且更多样化的非同质性图数据集以及新的同质性度量，然后基准测试简单基线和非同质性GNN，以揭示非同质性设置的见解。

ABSTRACT

Much data with graph structures satisfy the principle of homophily, meaning that connected nodes tend to be similar with respect to a specific attribute. As such, ubiquitous datasets for graph machine learning tasks have generally been highly homophilous, rewarding methods that leverage homophily as an inductive bias. Recent work has pointed out this particular focus, as new non-homophilous datasets have been introduced and graph representation learning models better suited for low-homophily settings have been developed. However, these datasets are small and poorly suited to truly testing the effectiveness of new methods in non-homophilous settings. We present a series of improved graph datasets with node label relationships that do not satisfy the homophily principle. Along with this, we introduce a new measure of the presence or absence of homophily that is better suited than existing measures in different regimes. We benchmark a range of simple methods and graph neural networks across our proposed datasets, drawing new insights for further research. Data and codes can be found at https://github.com/CUAI/Non-Homophily-Benchmarks.

研究动机与目标

• 激发对比小型、合成数据集更高质量非同质性图基准的需求。
• 提出具有多样背景和标签-拓扑关系的更大规模、真实世界的非同质性数据集。
• 引入一种鲁棒的同质性度量，减轻类别不平衡与规模效应。
• 重新引入强力的简单方法，并在提议的数据集上评估一系列GNN与基线。
• 提供在低同质性条件下方法性能与可扩展性的洞见。

提出的方法

• 提出一个新的同质性度量 hat{h}，在聚合类别级邻居相似度的同时控制类别大小。
• 在跨领域（如社交网络、生物学、时序/引文数据等）组装若干大型真实世界非同质性数据集，并在可能的情况下包含节点特征。
• 基准测试包括广泛的方法集合包括 MLP, label propagation (1-hop and 2-hop), LINK, SGC, C&S, general GNNs (GCN, GAT, APPNP, JK variants), and non-homophilous GNNs (H2GCN, MixHop, GPR-GNN).
• 使用标准准确率或 ROC-AUC，在五个固定的训练/验证/测试划分上进行评估（ogbn-proteins 使用 Open Graph Benchmark 的划分）。
• 讨论在将非同质性方法应用于大型数据集时的内存约束和可扩展性。

实验结果

研究问题

• RQ1 现有的非同质性学习方法在更大规模、真实世界的非同质性图上的表现如何？
• RQ2 节点特征和拓扑为基础基线的简单组合是否能在多样数据集上与专门的非同质性GNN竞争甚至超越？
• RQ3 新提出的同质性度量 hat{h} 如何与传统的边缘同质性以及数据集间模型性能相关？
• RQ4 非同质性图学习方法在可扩展性与性能之间的权衡是什么？
• RQ5 简单的两跳变体是否能在跨数据集的非同质性设置中提升性能？

主要发现

• 在所提出的数据集上，使用节点特征或图拓扑的简单基线的表现均优于随机。
• 非同质性GNN通常表现良好，尽管并非普遍适用，两跳变体常常带来提升。
• 在非同质性设置中，传统的低秩/低通近似（如某些同质性驱动模型中所见）并不成立，降低了一些简单GNN的有效性。
• LINK，一种基于拓扑的基线，在许多数据集上表现良好，尽管不使用节点特征。
• 内存与可扩展性考虑：更大规模的非同质性基准揭示了一些方法在内存和可扩展性方面的挑战，凸显了可扩展性与性能之间的权衡。
• 新的 hat{h} 度量减轻了类别不平衡效应，并在多样的数据集上更好地捕捉同质性的存在。