[论文解读] RoSA: A Robust Self-Aligned Framework for Node-Node Graph Contrastive Learning

Yun Zhu, Jianhao Guo+2 more|ArXiv.org|Apr 29, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

RoSA 提出了一种新颖的自对齐框架，用于节点-节点图对比学习，通过基于图的地球移动距离（g-EMD）和无监督对抗训练，在非对齐视图上实现了有效的表示学习。该方法在同质图、非同质图和动态图上均达到最先进性能，展现出强大的鲁棒性和泛化能力，且无需视图之间的显式节点对应关系。

ABSTRACT

Graph contrastive learning has gained significant progress recently. However, existing works have rarely explored non-aligned node-node contrasting. In this paper, we propose a novel graph contrastive learning method named RoSA that focuses on utilizing non-aligned augmented views for node-level representation learning. First, we leverage the earth mover's distance to model the minimum effort to transform the distribution of one view to the other as our contrastive objective, which does not require alignment between views. Then we introduce adversarial training as an auxiliary method to increase sampling diversity and enhance the robustness of our model. Experimental results show that RoSA outperforms a series of graph contrastive learning frameworks on homophilous, non-homophilous and dynamic graphs, which validates the effectiveness of our work. To the best of our awareness, RoSA is the first work focuses on the non-aligned node-node graph contrastive learning problem. Our codes are available at: \href{https://github.com/ZhuYun97/RoSA}{ exttt{https://github.com/ZhuYun97/RoSA}}

研究动机与目标

• 为解决非对齐节点-节点图对比学习中视图存在不一致节点集且无显式对应关系的问题。
• 设计一种无需视图间对齐的对比目标，以提升采样灵活性和鲁棒性。
• 通过在节点特征上进行无监督对抗训练，增强模型鲁棒性和表示多样性。
• 在包括动态图和非同质图在内的多种图类型上验证该框架的有效性，这些场景下对齐方法可能失效或表现不佳。

提出的方法

• 使用带重启的随机游走采样生成以不同节点为中心的非对齐子图视图，将来自同一中心节点的视图视为正样本对。
• 引入 g-EMD（基于图的地球移动距离）作为对比损失，以在无需节点对应关系的情况下度量非对齐视图之间的分布相似性。
• 在 g-EMD 中采用修正的成本矩阵，以更好地捕捉图结构中的拓扑和基于特征的关系。
• 在节点特征上引入无监督对抗训练，以提升采样多样性并增强对分布偏移的鲁棒性。
• 使用标准 GNN 编码器（如 GCN、GraphSAGE）进行特征提取，对比目标在节点层面应用。
• 将 InfoNCE 损失适配至 g-EMD 框架，实现无需显式对齐的端到端训练。

实验结果

研究问题

• RQ1 在复杂图设置中，非对齐节点-节点对比学习能否优于对齐方法的表示学习效果？
• RQ2 如何设计一种对比目标，使其在无需视图间节点对应关系的情况下仍能有效工作？
• RQ3 对抗训练能否提升无监督图对比学习中子图采样的鲁棒性和多样性？
• RQ4 所提出的框架是否能在同质图、非同质图和动态图上实现良好泛化？
• RQ5 g-EMD 是否能有效度量非对齐图视图之间的相似性，同时保留结构和特征信息？

主要发现

• RoSA 在 Flickr 数据集上达到最先进性能，微 F1 得分为 51.2±0.1，优于所有基线方法，适用于归纳学习设置。
• 在 Reddit 数据集上，RoSA 的微 F1 得分为 95.2±0.0，较之前最先进方法 GRACE 提升 1.0 分。
• 在动态图设置中，RoSA 在 CIAW* 上取得 73.2±9.3 的 F1 分数，优于 GraphSAGE 和 GRACE，其中 GRACE 因依赖对齐而失效。
• 消融实验表明，若移除 g-EMD、修正成本矩阵或对抗训练，性能将显著下降，验证了各组件的贡献。
• 即使在非对齐设置下，RoSA 的表现也与对齐方法相当或更优，证明其能有效处理视图错位问题。
• 该方法在各类图类型上泛化良好，尤其在非同质图中显著优于其他模型。