[论文解读] Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment

Meng Liu, Ke Liang+6 more|arXiv (Cornell University)|Feb 15, 2023

Advanced Graph Neural Networks参考文献 69被引用 6

一句话总结

本文提出S2T，一种自监督时间图学习方法，通过对齐时间与结构强度表征，提升节点表征质量。通过整合基于霍克斯过程的一阶时间动态信息以及来自局部和全局图模块的高阶结构信息，S2T利用一种新颖的对齐损失函数，缩小了这两种强度之间的差距，在多个数据集上相比最先进方法实现了最高10.13%的性能提升。

ABSTRACT

Temporal graph learning aims to generate high-quality representations for graph-based tasks with dynamic information, which has recently garnered increasing attention. In contrast to static graphs, temporal graphs are typically organized as node interaction sequences over continuous time rather than an adjacency matrix. Most temporal graph learning methods model current interactions by incorporating historical neighborhood. However, such methods only consider first-order temporal information while disregarding crucial high-order structural information, resulting in suboptimal performance. To address this issue, we propose a self-supervised method called S2T for temporal graph learning, which extracts both temporal and structural information to learn more informative node representations. Notably, the initial node representations combine first-order temporal and high-order structural information differently to calculate two conditional intensities. An alignment loss is then introduced to optimize the node representations, narrowing the gap between the two intensities and making them more informative. Concretely, in addition to modeling temporal information using historical neighbor sequences, we further consider structural knowledge at both local and global levels. At the local level, we generate structural intensity by aggregating features from high-order neighbor sequences. At the global level, a global representation is generated based on all nodes to adjust the structural intensity according to the active statuses on different nodes. Extensive experiments demonstrate that the proposed model S2T achieves at most 10.13% performance improvement compared with the state-of-the-art competitors on several datasets.

研究动机与目标

• 为解决现有时间图方法仅关注一阶时间信息而忽略高阶结构模式的局限性。
• 通过在自监督框架中联合建模时间动态与结构拓扑，提升节点表征质量。
• 通过引入基于节点活跃度调整强度的全局结构模块，改善长尾节点的表征。
• 设计统一损失函数，结合任务损失与强度对齐损失，以实现更优优化。
• 在真实世界时间图基准上，相比最先进方法，展示出更优的性能表现。

提出的方法

• 该方法使用霍克斯过程建模时间强度，以捕捉历史邻居交互对未来节点交互的影响。
• 通过基于图神经网络的模块聚合高阶邻域特征，计算局部结构强度，以捕捉局部拓扑结构。
• 从所有节点学习全局表征，并据此根据节点活跃度水平重新加权结构强度。
• 引入全局参数，为结构强度向量的不同维度分配重要性，以提升模型鲁棒性。
• 对齐损失函数通过最小化时间强度与结构强度向量之间的差距，促使模型学习到一致且信息丰富的表征。
• 总损失函数将对齐损失与下游任务损失（如链接预测）相结合，支持自监督预训练。

实验结果

研究问题

• RQ1 联合建模时间与结构信息是否能提升时间图中节点表征的质量？
• RQ2 对齐时间与结构强度表征如何提升模型性能？
• RQ3 引入全局结构感知在多大程度上能改善长尾节点的表征？
• RQ4 哪些超参数设置（如序列长度、负样本数量）能实现最优且稳定的性能表现？
• RQ5 所提方法的收敛速度如何？其在大规模图上的可扩展性如何？

主要发现

• S2T在多个基准数据集（包括Wikipedia、CollegeMsg和cit-HepTh）上相比最先进方法实现了最高10.13%的性能提升。
• 在Wikipedia数据集上，最优历史邻居序列长度$S$为15；在cit-HepTh上为20，但为兼顾计算效率，缺省使用$S=10$。
• 每对正样本使用一个负样本时，模型在准确率与F1分数上达到最平衡的性能表现，有效避免类别不平衡问题。
• 模型收敛迅速，损失值在仅几个训练周期后即趋于稳定，表明其具有快速且稳定的优化特性。
• 消融实验证明，全局结构模块显著提升了长尾节点的表征质量，尤其对活跃度较低的节点效果明显。
• 该方法展现出有利的时间复杂度$O(t|E|d^3)$，使其在大规模时间图上具备良好的可扩展性，并支持快速收敛。