[论文解读] Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast

Linpu Jiang, Kejia Chen+1 more|arXiv (Cornell University)|Dec 16, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 DySubC，一种自监督的动态图表示学习框架，通过对比时间子图（利用结构信息和时间戳边信息采样得到的子图）来增强节点嵌入。通过联合优化结构对比损失和时间对比损失，DySubC 在五个真实世界数据集上的链接预测任务中达到最先进性能，证明了时间动态性在提升表示质量中的关键作用。

ABSTRACT

Self-supervised learning on graphs has recently drawn a lot of attention due to its independence from labels and its robustness in representation. Current studies on this topic mainly use static information such as graph structures but cannot well capture dynamic information such as timestamps of edges. Realistic graphs are often dynamic, which means the interaction between nodes occurs at a specific time. This paper proposes a self-supervised dynamic graph representation learning framework (DySubC), which defines a temporal subgraph contrastive learning task to simultaneously learn the structural and evolutional features of a dynamic graph. Specifically, a novel temporal subgraph sampling strategy is firstly proposed, which takes each node of the dynamic graph as the central node and uses both neighborhood structures and edge timestamps to sample the corresponding temporal subgraph. The subgraph representation function is then designed according to the influence of neighborhood nodes on the central node after encoding the nodes in each subgraph. Finally, the structural and temporal contrastive loss are defined to maximize the mutual information between node representation and temporal subgraph representation. Experiments on five real-world datasets demonstrate that (1) DySubC performs better than the related baselines including two graph contrastive learning models and four dynamic graph representation learning models in the downstream link prediction task, and (2) the use of temporal information can not only sample more effective subgraphs, but also learn better representation by temporal contrastive loss.

研究动机与目标

• 为解决静态图表示学习在捕捉动态图时间演化方面的局限性。
• 开发一种自监督框架，联合建模动态图中的结构和时间动态性。
• 通过将边时间戳融入子图采样和对比学习，提升节点表示质量。
• 验证时间信息是否能增强子图采样效果和下游表示性能。

提出的方法

• 提出一种新颖的时间子图采样策略，以每个节点为中心，基于邻近度和边时间戳采样邻居。
• 时间感知的 GNN 编码器处理每个采样得到的时间子图，生成节点和子图表示。
• 时间加权读出函数计算时间子图的汇总表示，强调近期交互。
• 定义结构对比损失和时间对比损失，以最大化节点表示与其对应时间子图表示之间的互信息。
• 使用正样本对（中心节点及其时间加权子图）、结构负样本对（其他子图）和时间负样本对（未加权子图）进行模型训练。
• 超参数 α 和 β 分别用于平衡采样和表示中的结构与时间信息。

实验结果

研究问题

• RQ1 将边时间戳融入子图采样是否能提升动态图表示的质量？
• RQ2 与静态或纯结构对比方法相比，时间对比学习是否能带来更好的节点表示学习效果？
• RQ3 子图大小以及超参数 α 和 β 如何影响所提框架的性能？
• RQ4 时间信息在多大程度上提升了动态图中的链接预测性能？

主要发现

• 在五个真实世界数据集上，DySubC 在链接预测任务中优于四种动态图学习模型和两种图对比学习模型。
• 在 fb-forum 数据集上，当启用时间增强模块时，DySubC 相较于基线模型 AUC 分数提升 0.05。
• 子图大小分析显示，所有数据集上最优性能出现在子图大小为 20 时，更大的子图大小（如 100）在较小的图（如 fb-forum）上导致性能下降。
• 敏感性分析表明，α = 10 和 β = 1.6 时性能最佳，表明结构和时间信息在子图采样与表示中均至关重要。
• t-SNE 可视化结果表明，DySubC 更好地根据近期交互对节点进行聚类，而 Sub-Con 无法捕捉此类时间邻近性。
• 模型在超参数中值附近的扰动下表现出鲁棒性，表明当时间与结构信号平衡时，学习动态稳定。