[论文解读] Understanding Isomorphism Bias in Graph Data Sets

Sergei Ivanov, Sergei Sviridov+1 more|arXiv (Cornell University)|Oct 26, 2019

Advanced Graph Neural Networks参考文献 49被引用 16

一句话总结

本文在54个广泛使用的图分类数据集中识别出同构偏差，其中重复的同构图人为地通过模型对标签的记忆化提高了准确率。作者提出一种检测并移除同构实例的方法，发布去除了同构偏差的清洗后数据集，并证明模型在存在偏差的数据集上可实现高达5%的准确率提升，这是由于记忆化而非泛化能力所致。

ABSTRACT

In recent years there has been a rapid increase in classification methods on graph structured data. Both in graph kernels and graph neural networks, one of the implicit assumptions of successful state-of-the-art models was that incorporating graph isomorphism features into the architecture leads to better empirical performance. However, as we discover in this work, commonly used data sets for graph classification have repeating instances which cause the problem of isomorphism bias, i.e. artificially increasing the accuracy of the models by memorizing target information from the training set. This prevents fair competition of the algorithms and raises a question of the validity of the obtained results. We analyze 54 data sets, previously extensively used for graph-related tasks, on the existence of isomorphism bias, give a set of recommendations to machine learning practitioners to properly set up their models, and open source new data sets for the future experiments.

研究动机与目标

• 调查常用图分类数据集中同构图的普遍性。
• 揭示同构实例如何通过标签记忆化导致不公平的性能优势。
• 开发并发布一种利用节点和边特征检测图数据集中同构图的方法。
• 提供清洗后、无同构偏差的数据集，以确保图分类模型的公平评估。
• 为研究人员提供实用建议，以避免未来图学习实验中的同构偏差。

提出的方法

• 提出一种图同构检测流程，利用节点和边标签、数值属性以及图拓扑结构来识别同构实例。
• 应用基于轨道的聚类方法将同构图分组，并在标签不一致时移除重复项。
• 使用启发式方法（多数投票）为标签一致的同构实例分配标签，丢弃标签冲突的轨道。
• 在原始数据集和清洗后测试集上评估模型性能，以隔离同构偏差的影响。
• 在 https://github.com/nd7141/iso_bias 上实现并开源同构检测代码。
• 在 https://github.com/nd7141/graph_datasets 上发布清洗后的数据集，并集成至 PyTorch-Geometric 以提升可用性。

实验结果

研究问题

• RQ1 在广泛使用的图分类数据集中，同构图的普遍性如何？
• RQ2 同构偏差在多大程度上人为提高了图分类任务中的模型准确率？
• RQ3 图数据集中同构图存在的原因是什么，如何实现可靠检测？
• RQ4 移除同构实例是否能带来更公平且更具泛化能力的模型评估？
• RQ5 研究人员在未来的图学习实验中应如何避免同构偏差？

主要发现

• 在分析的54个图数据集中，同构图占比高达100%，部分数据集仅包含20%的唯一图。
• 许多同构图存在标签不一致，使其不适合用于训练或评估。
• 由于记忆化而非泛化能力，模型在存在偏差的数据集上准确率最高可提升5%。
• 即使强大的模型如GNNs和图核也未能在同构实例上实现100%准确率，表明其泛化能力存在固有局限。
• 所提出的清洗方法成功移除了标签冲突的同构实例，仅保留每个轨道中标签一致的代表实例。
• 新发布的清洗后数据集与 PyTorch-Geometric 兼容，消除了同构偏差，实现了更公平的模型比较。