[论文解读] Neighborhood-aware Scalable Temporal Network Representation Learning

Yuhong Luo, Pan Li|arXiv (Cornell University)|Sep 2, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出 NAT，一种邻域感知的时间网络表示学习模型，用存储在 GPU 优化的 N-缓存中的字典型邻域表示取代传统的向量型节点表示。通过实现快速、并行的联合邻域结构特征构建，NAT 在保持 1.2% 的归纳链路预测准确率提升和 4.2% 的直推链路预测准确率提升的同时，相较于使用联合特征的基线模型，训练速度提升了 4.1–76.7 倍。

ABSTRACT

Temporal networks have been widely used to model real-world complex systems such as financial systems and e-commerce systems. In a temporal network, the joint neighborhood of a set of nodes often provides crucial structural information useful for predicting whether they may interact at a certain time. However, recent representation learning methods for temporal networks often fail to extract such information or depend on online construction of structural features, which is time-consuming. To address the issue, this work proposes Neighborhood-Aware Temporal network model (NAT). For each node in the network, NAT abandons the commonly-used one-single-vector-based representation while adopting a novel dictionary-type neighborhood representation. Such a dictionary representation records a downsampled set of the neighboring nodes as keys, and allows fast construction of structural features for a joint neighborhood of multiple nodes. We also design a dedicated data structure termed N-cache to support parallel access and update of those dictionary representations on GPUs. NAT gets evaluated over seven real-world large-scale temporal networks. NAT not only outperforms all cutting-edge baselines by averaged 1.2% and 4.2% in transductive and inductive link prediction accuracy, respectively, but also keeps scalable by achieving a speed-up of 4.1-76.7x against the baselines that adopt joint structural features and achieves a speed-up of 1.6-4.0x against the baselines that cannot adopt those features. The link to the code: https: //github.com/Graph-COM/Neighborhood-Aware-Temporal-Network.

研究动机与目标

• 为解决现有时间图神经网络在捕捉对链路预测至关重要的联合邻域结构特征方面的局限性。
• 克服大规模时间网络中联合结构特征构建的可扩展性瓶颈。
• 设计一种内存高效、支持 GPU 并行处理的动态邻域表示管理数据结构。
• 通过基于字典的表示和 N-缓存，实现高性能预测与快速推理。
• 在真实大规模时间网络上验证所提方法的有效性与可扩展性。

提出的方法

• NAT 用字典型邻域表示取代单个向量型节点表示，其中键为采样的邻近节点，值存储时间戳和特征信息。
• 引入 N-缓存——一种 GPU 优化的数据结构，用于并行存储和管理这些字典，实现高效访问与更新。
• N-缓存使用基于哈希的查找函数，支持多跳邻域信息的低延迟、并发更新与查询。
• 通过合并单个节点 N-缓存中键的交集，构建节点对的联合邻域特征，实现快速结构特征计算。
• 采用可学习的覆盖概率 α，以在 N-缓存更新中平衡邻域信息的新鲜度与多样性。
• 框架集成时间编码（T-编码）、RNN 和可微嵌入（DE）模块，以增强时间动态建模能力。

实验结果

研究问题

• RQ1 与标准向量表示相比，基于字典的邻域表示是否能提升时间网络中的链路预测性能？
• RQ2 N-缓存数据结构能否实现大规模时间网络中联合邻域特征的可扩展、并行构建？
• RQ3 N-缓存的设计如何影响模型在直推和归纳设置下的性能与训练效率？
• RQ4 N-缓存超参数（如 M₁、M₂、F、α）的最优配置是什么，以在性能与内存使用之间取得平衡？
• RQ5 在时间链路预测中，使用动态、基于哈希的邻域缓存是否能带来比静态内存状态更好的泛化性能？

主要发现

• 与最先进基线相比，NAT 在直推链路预测准确率上提升 1.2% 的绝对值，在归纳链路预测准确率上提升 4.2%。
• 相较于使用联合结构特征的基线模型，NAT 实现了 4.1–76.7 倍的加速；相较于不使用联合特征的基线模型，也实现了 1.6–4.0 倍的加速。
• 移除二跳 N-缓存（Z²ᵤ）会使性能最多下降 1%，而同时移除一跳与二跳缓存则导致性能显著下降，尤其在归纳设置下更为明显。
• 当一跳 N-缓存大小（M₁）超过最优值时，性能可能下降，表明内存与表示质量之间存在权衡。
• 较高的覆盖概率 α（如 0.5–0.8）可通过保持邻域信息的时效性来提升性能，但 α=1.0 时表现较差，因损失了时间多样性。
• 即使 N-缓存规模增大，模型仍能保持稳定的训练与推理时间，且在某些情况下，更大的缓存反而因减少哈希冲突而降低运行时间。