[论文解读] Residual2Vec: Debiasing graph embedding with random graphs

Sadamori Kojaku, Jisung Yoon+2 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks参考文献 9被引用 4

一句话总结

Residual2Vec 是一种图嵌入框架，通过使用零模型随机图来对结构偏差（如度分布和社区结构）进行建模，从而实现表征去偏。通过利用 skip-gram 负采样中的隐式去偏机制，该方法在链接预测、聚类和节点属性预测任务上表现更优，揭示了诸如期刊影响因子和学科类别等显著图结构特征。

ABSTRACT

Graph embedding maps a graph into a convenient vector-space representation for graph analysis and machine learning applications. Many graph embedding methods hinge on a sampling of context nodes based on random walks. However, random walks can be a biased sampler due to the structural properties of graphs. Most notably, random walks are biased by the degree of each node, where a node is sampled proportionally to its degree. The implication of such biases has not been clear, particularly in the context of graph representation learning. Here, we investigate the impact of the random walks' bias on graph embedding and propose residual2vec, a general graph embedding method that can debias various structural biases in graphs by using random graphs. We demonstrate that this debiasing not only improves link prediction and clustering performance but also allows us to explicitly model salient structural properties in graph embedding.

研究动机与目标

• 探究随机游走采样偏差（尤其是度偏差）对图表示学习的影响。
• 解决现有图嵌入方法中对结构偏差缺乏显式控制的问题。
• 开发一种可泛化的框架，能够选择性地去除图嵌入中的系统性偏差。
• 证明去偏处理能够增强对有意义结构特征（如期刊影响因子和学科类别）的捕捉能力。
• 提供一个统一框架，使现有基于随机游走的图嵌入方法可被解释为特定零模型下的特例。

提出的方法

• Residual2Vec 构建了一个零随机图模型，用于捕捉在特定偏差（如度分布或社区结构）下的预期结构分布。
• 它从零模型生成合成的随机游走轨迹，以估计在该偏差下节点共现的期望值。
• 该方法通过从真实图中的实际共现中减去期望共现，计算出残差嵌入，从而有效去除偏差。
• 随后利用 skip-gram 负采样（SGNS）对残差嵌入进行训练，其优化机制天然抑制了度偏差。
• 该框架支持任意随机图模型作为零模型，从而实现对多种结构属性的有选择性去偏。
• 通过显式建模预期模式，将先验知识整合到图结构中，实现透明且可解释的去偏处理。

实验结果

研究问题

• RQ1 随机游走中的偏差（特别是度偏差）如何影响图嵌入的质量？
• RQ2 SGNS 内置的去偏特性是否可推广至去除除度之外的其他结构偏差？
• RQ3 去偏处理在多大程度上提升了链接预测和社区检测等下游任务的性能？
• RQ4 去除结构偏差是否能揭示潜在的、有意义的图特征，如期刊影响因子或学科类别？
• RQ5 Residual2Vec 在捕捉显著结构特征方面与现有图嵌入方法相比表现如何？

主要发现

• 与基线图嵌入方法相比，Residual2Vec 显著提升了链接预测和聚类性能。
• 在包含 260,000 本期刊的引用图上，Residual2Vec 在预测期刊影响因子和学科类别方面取得了最高的 R² 分数。
• r2v-dcSBM 在预测期刊学科类别方面优于 r2v-config，表明其有效去除了时间偏差。
• r2v-dcSBM 在度和年份属性上的 R² 分数最小，证实了对结构和时间特征的成功去偏。
• Residual2Vec 揭示了随机游走偏差可能掩盖真实有意义的结构信号（如期刊影响因子和学科类别），在标准嵌入中表现显著。
• 该方法表明，显式去偏可带来更具可解释性和语义意义的图表示。