[论文解读] Towards Better Dynamic Graph Learning: New Architecture and Unified Library

Yu Le, Leilei Sun+2 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Graph Neural Networks被引用 40

一句话总结

介绍 DyGFormer，一种基于 Transformer 的动态图模型，使用邻居共现编码和补丁化来捕捉节点相关性及长期时间依赖；以及 DyGLib，一个用于可重复的连续时间动态图学习评估的统一库。

ABSTRACT

We propose DyGFormer, a new Transformer-based architecture for dynamic graph learning. DyGFormer is conceptually simple and only needs to learn from nodes' historical first-hop interactions by: (1) a neighbor co-occurrence encoding scheme that explores the correlations of the source node and destination node based on their historical sequences; (2) a patching technique that divides each sequence into multiple patches and feeds them to Transformer, allowing the model to effectively and efficiently benefit from longer histories. We also introduce DyGLib, a unified library with standard training pipelines, extensible coding interfaces, and comprehensive evaluating protocols to promote reproducible, scalable, and credible dynamic graph learning research. By performing exhaustive experiments on thirteen datasets for dynamic link prediction and dynamic node classification tasks, we find that DyGFormer achieves state-of-the-art performance on most of the datasets, demonstrating its effectiveness in capturing nodes' correlations and long-term temporal dependencies. Moreover, some results of baselines are inconsistent with previous reports, which may be caused by their diverse but less rigorous implementations, showing the importance of DyGLib. All the used resources are publicly available at https://github.com/yule-BUAA/DyGLib.

研究动机与目标

• 说明在动态图中捕捉节点相关性和长期时间依赖的需求。
• 提出一个简单的基于 Transformer 的架构，仅从历史的一跳交互中学习。
• 开发一个统一、标准化的库（DyGLib），以提高动态图学习研究的可重复性。
• 在多样化的动态连边预测和节点分类任务上经验性地证明了最先进的性能。

提出的方法

• DyGFormer 从源节点和目标节点提取历史的一跳交互序列，并计算邻居、链接和时间间隔编码。
• 引入邻居共现编码，通过共现频率来捕捉节点对之间的相关性。
• 应用补丁化技术将序列切分为若干补丁，使 Transformer 能在常量复杂度下利用更长的历史。
• 将多编码序列连接并输入到 Transformer 编码器，以学习跨序列的时序依赖。
• 通过对 Transformer 输出求平均并应用输出投影，获得一个时序感知的表示 h_u^t, h_v^t。
• DyGLib 提供标准化的数据格式、基于 PyTorch 的实现，以及针对动态连边预测与动态节点分类的详尽评估协议。

实验结果

研究问题

• RQ1 DyGFormer 是否能有效地使用邻居共现编码捕捉源节点和目标节点之间的相关性？
• RQ2 补丁化技术是否在保持可控的计算成本下，能够利用更长的历史序列？
• RQ3 DyGFormer 是否在广泛的动态图数据集和任务上实现了最先进的性能？
• RQ4 统一库（DyGLib）如何影响跨动态图学习方法的可重复性和公平比较？

主要发现

• DyGFormer 在跨多个数据集和负采样策略的推导型与归纳型动态连边预测任务中通常优于基线。
• DyGFormer 在推导型动态连边预测中的平均排名为 2.49/2.69（AP/AUC-ROC），在归纳型为 2.69/2.56。
• 邻居共现编码方案提高了源–目标相关性的建模，带来预测提升。
• 补丁化技术在保持常量计算复杂度的同时实现了更长历史的利用，提升了对长期时间依赖的捕捉。
• DyGLib 指出先前报告中的一些基线结果因管线和实现差异而不同，强调需要标准化基准测试。