[论文解读] Subgroup Generalization and Fairness of Graph Neural Networks

Jiaqi Ma, Junwei Deng+1 more|arXiv (Cornell University)|Jun 29, 2021

Advanced Graph Neural Networks参考文献 45被引用 27

一句话总结

本文在非IID节点级半监督学习的图神经网络（GNN）上，提出了一种新的PAC-Bayesian分析，推导子群泛化界限，并展示了与距离训练数据的测试节点子群相关的理论与经验准确度差异。

ABSTRACT

Despite enormous successful applications of graph neural networks (GNNs), theoretical understanding of their generalization ability, especially for node-level tasks where data are not independent and identically-distributed (IID), has been sparse. The theoretical investigation of the generalization performance is beneficial for understanding fundamental issues (such as fairness) of GNN models and designing better learning methods. In this paper, we present a novel PAC-Bayesian analysis for GNNs under a non-IID semi-supervised learning setup. Moreover, we analyze the generalization performances on different subgroups of unlabeled nodes, which allows us to further study an accuracy-(dis)parity-style (un)fairness of GNNs from a theoretical perspective. Under reasonable assumptions, we demonstrate that the distance between a test subgroup and the training set can be a key factor affecting the GNN performance on that subgroup, which calls special attention to the training node selection for fair learning. Experiments across multiple GNN models and datasets support our theoretical results.

研究动机与目标

• 在非IID节点级半监督学习下，为GNN泛化提供一个PAC-Bayesian框架。
• 推导依赖于测试节点与训练节点特征距离的子群特定泛化界限。
• 在理论和经验上研究由距离训练数据定义的测试子群之间的准确度差异（公平性）。
• 强调训练节点选择和图结构如何影响GNN的公平性。

提出的方法

• 在固定的 X,G 条件下，将图上的节点级半监督学习表述为标签随机性由聚合特征 Z=g(X,G) 条件化。
• 为跨子群的随机和确定性分类器推导PAC-Bayesian界限，引入期望损失差异 D^gamma_{m,m'}(P;λ)。
• 将界限具体化到GNNs，其中 h_i(X,G)=f(g_i(X,G);W1,...,WL)，并推导包含 epsilon_m 的子群泛化界，epsilon_m 为子群 V_m 到训练集 V0 的距离。
• 对基于聚合特征的标签分布以及模型和数据相关假设（假设 2-4）施加光滑性（假设1），以界定差异项 D^gamma_{m,0}(P;λ)。
• 给出定理3，提供一个GNN的子群泛化界，显示对 epsilon_m、网络宽度 b、层范数以及训练规模 N0 的依赖。

实验结果

研究问题

• RQ1 非IID节点级数据在半监督设置下如何影响GNN泛化？
• RQ2 我们能否为GNNs界定子群特定的泛化误差，并理解驱动各子群差异的因素？
• RQ3 测试子群与训练集之间的距离是否能预测准确性/差异，从而为公平性提供信息？
• RQ4 训练数据选择和图结构如何影响GNN预测中的子群公平性？

主要发现

• 开发了一个非IID节点级GNN的PAC-Bayesian泛化界，将子群泛化与训练子群和测试子群之间的期望损失差联系起来。
• GNN的子群泛化界表明子群的测试误差随到训练集的聚合特征距离 epsilon_m 的增大而增大。
• 该界限指出潜在的不公平性：距离训练数据更远的子群具有较弱的泛化保证和潜在的较低准确率。
• 在 Cora、Citeseer、PubMed 上对 GCN、GAT、SGC、APPNP 的实验结果显示，按距离训练数据和测地距离定义的子群之间存在显著的准确性差异，验证了理论。
• 偏向的训练节点选择（基于中心性）加剧差异，凸显了训练数据选择对公平性的影响。