[论文解读] Uncovering the Structural Fairness in Graph Contrastive Learning

Ruijia Wang, Xiao Wang+2 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Graph Neural Networks被引用 20

一句话总结

本文表明图对比学习（GCL）在度偏差方面相对 GCN 更公平，并通过“同群内集中度”和“跨群散布”解释这一点；并提出 GRADE，一种面向度偏差的增强框架，能够改善公平性和尾节点性能。

ABSTRACT

Recent studies show that graph convolutional network (GCN) often performs worse for low-degree nodes, exhibiting the so-called structural unfairness for graphs with long-tailed degree distributions prevalent in the real world. Graph contrastive learning (GCL), which marries the power of GCN and contrastive learning, has emerged as a promising self-supervised approach for learning node representations. How does GCL behave in terms of structural fairness? Surprisingly, we find that representations obtained by GCL methods are already fairer to degree bias than those learned by GCN. We theoretically show that this fairness stems from intra-community concentration and inter-community scatter properties of GCL, resulting in a much clear community structure to drive low-degree nodes away from the community boundary. Based on our theoretical analysis, we further devise a novel graph augmentation method, called GRAph contrastive learning for DEgree bias (GRADE), which applies different strategies to low- and high-degree nodes. Extensive experiments on various benchmarks and evaluation protocols validate the effectiveness of the proposed method.

研究动机与目标

• 研究在长尾度分布下，GCL 是否在度偏置下体现结构性公平。
• 理解 GCL 相对于原始 GCN 如何实现公平性的机制。
• 开发一种图增强策略，在不降低头部节点性能的前提下，进一步提升尾节点的公平性。
• 提出并评估 GRADE，一种面向度偏差感知的 GCL 增强框架。
• 提供将增强与表示集中度及社区结构联系起来的理论见解。

提出的方法

• 理论分析表明，同群内集中度和跨群散布解释了 GCL 的公平性。
• 通过一个 (,, d) 增强框架定义增强集中度。
• 提出 GRADE，它对尾节点（在同群内邻居之间进行插值）进行拓扑增强，对头节点（净化跨群连接）进行定制。
• 结合了通过随机掩蔽进行的特征增强。
• 使用带有温度参数 t 的两个增强视图的对比目标，并通过投影头计算相似度。
• 在标准图基准上进行线性评估，包含半监督和监督划分的评估。

实验结果

研究问题

• RQ1 与 GCN 相比，GCL 是否在节点度方面表现出结构性公平？
• RQ2 任何观察到的 GCL 公平性背后有哪些理论机制？
• RQ3 是否可以通过专门的增强策略在不损害头部节点的情况下进一步提升尾节点的公平性？
• RQ4 所提出的 GRADE 增强如何影响同群内/跨群的表示集中度以及整体公平性？

主要发现

• 在度偏置下，GCL 表示对尾节点和头节点的性能差距小于 GCN。
• 同群内集中度和跨群散布被确定为驱动 GCL 公平性的核心因素。
• 一种新颖的增强 GRADE，通过为尾节点丰富同群内邻居并净化头节点邻域以降低跨群噪声来提升尾节点性能。
• GRADE 在多个数据集上在尾节点上达到更高的准确性，同时保持或提高头节点的性能。
• 定量公平性分析表明，与基线相比，GRADE 减少了度偏差并提高了分组平均准确率。