[论文解读] Synthetic Graph Generation to Benchmark Graph Learning

Anton Tsitsulin, Benedek Rózemberczki+2 more|arXiv (Cornell University)|Apr 4, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出一种合成图生成器，用于创建可控且多样的基准数据集，以评估图学习算法，从而实现对模型行为的更深入分析。通过生成具有可调结构和特征属性的图，该框架揭示了GNN鲁棒性与性能极限的关键洞见，其表现优于基于真实世界数据集的传统基准测试。

ABSTRACT

Graph learning algorithms have attained state-of-the-art performance on many graph analysis tasks such as node classification, link prediction, and clustering. It has, however, become hard to track the field's burgeoning progress. One reason is due to the very small number of datasets used in practice to benchmark the performance of graph learning algorithms. This shockingly small sample size (~10) allows for only limited scientific insight into the problem. In this work, we aim to address this deficiency. We propose to generate synthetic graphs, and study the behaviour of graph learning algorithms in a controlled scenario. We develop a fully-featured synthetic graph generator that allows deep inspection of different models. We argue that synthetic graph generations allows for thorough investigation of algorithms and provides more insights than overfitting on three citation datasets. In the case study, we show how our framework provides insight into unsupervised and supervised graph neural network models.

研究动机与目标

• 为解决图学习领域中缺乏多样化、代表性基准的严峻问题，目前仅依赖约10个真实世界数据集。
• 克服现有基准的局限性，如高同质性、规模小，以及引文网络等数据集之间的相似性。
• 开发一种系统化、可控的框架，通过合成图生成来评估图学习算法。
• 在结构和特征条件变化的条件下，实现对模型行为的全面探究，超越在小型真实数据集上的过拟合问题。
• 统一并标准化图学习的评估协议，为可重现的、科学的实验提供清晰路径。

提出的方法

• 基于ADC-SBM模型提出一个功能完整的合成图生成器，可独立控制图结构、节点特征和边特征。
• 以随机块模型（Stochastic Block Model, SBM）为基础，生成具有预设聚类结构和可调图信号强度的图。
• 引入可调超参数，如图密度、幂律强度、特征信号强度和聚类中心方差。
• 生成具有可调信噪比的节点和边特征，以模拟真实世界数据的特性。
• 采用模块化框架，实现一次仅改变一个超参数，其余参数保持恒定的系统性变化。
• 通过两个案例研究验证该框架：在合成图上进行无监督聚类和半监督节点分类。

实验结果

研究问题

• RQ1 图神经网络在图结构和特征信号强度受控变化下的表现如何？
• RQ2 模型在独立利用结构或特征信号方面的能力有多大？它们如何组合这些信号？
• RQ3 GNN对极端图条件（如低密度或高幂律强度）的鲁棒性如何？
• RQ4 节点和边特征的质量如何影响半监督学习中模型的泛化能力和性能？
• RQ5 合成基准能否揭示真实世界基准中因数据集相似性和规模小而被掩盖的局限性？

主要发现

• DMoN在纯SBM和仅使用特征的k-means之上表现更优，尤其在图信号较弱的场景下，显示出结构与特征有效融合的能力。
• 当图信号微弱时（例如接近谱可检测性阈值），DMoN仍能通过利用强特征信号维持高聚类准确率。
• 在半监督节点分类任务中，GCN、GAT和APPNP对图密度增加表现出鲁棒性，即使边数很高，性能也保持稳定。
• 当特征空间维度超过最优水平时，模型开始出现过拟合，表明表示能力与泛化能力之间存在权衡。
• 在节点分类任务中，性能对特征信号质量的敏感度高于对图结构质量的敏感度，尤其当簇内边密度较低时。
• 该合成框架揭示，像k-means(DGI)这样的模型始终无法超越仅使用特征或仅使用结构的基线模型中的最佳表现，表明其在信号整合方面协同效应有限。