[论文解读] Representation Learning over Dynamic Graphs

Rakshit Trivedi, Mehrdad Farajtabar+2 more|arXiv (Cornell University)|Mar 11, 2018

Advanced Graph Neural Networks参考文献 30被引用 47

一句话总结

DyRep 是一个归纳式深度框架，通过联合建模和更新关联（拓扑）与通信（交互）事件，结合时间尺度感知的时点过程和中介式嵌入更新，来学习动态图中随时间演化的节点嵌入。

ABSTRACT

How can we effectively encode evolving information over dynamic graphs into low-dimensional representations? In this paper, we propose DyRep, an inductive deep representation learning framework that learns a set of functions to efficiently produce low-dimensional node embeddings that evolves over time. The learned embeddings drive the dynamics of two key processes namely, communication and association between nodes in dynamic graphs. These processes exhibit complex nonlinear dynamics that evolve at different time scales and subsequently contribute to the update of node embeddings. We employ a time-scale dependent multivariate point process model to capture these dynamics. We devise an efficient unsupervised learning procedure and demonstrate that our approach significantly outperforms representative baselines on two real-world datasets for the problem of dynamic link prediction and event time prediction.

研究动机与目标

• 提出在动态图上进行基于原理的表示学习的必要性，涉及两个相互作用的过程：关联（拓扑增长）与通信（交互）。
• 提出一个统一的、归纳式的框架，用以学习介导这两个过程的随时间演化的节点嵌入。
• 开发一个时间尺度相关的点过程模型和深度嵌入更新，以捕捉多时间尺度上的非线性动态。
• 通过高效的学习过程确保对大量事件的可扩展性。

提出的方法

• 在图上定义两种时序过程：关联（拓扑增长）与通信（交互）。
• 引入 DyRep，具备三大核心函数：Temporal Function（通过神经网络实现多时间尺度的条件强度）、Embedding Update Function（深度递归更新）、以及 Attentive Aggregate Function（基于强度的注意聚合）。
• 使用兼容性分数 g_k(t) = ω_k^T [z^u(t); z^v(t)] 来参数化条件强度 λ_k^{u,v}(t)，并采用时间尺度相关的 softplus：f_k(x) = ψ_k log(1+exp(x/ψ_k))。
• 用三项更新来更新节点嵌入：来自邻居 u 的局部嵌入传播、来自节点自身的自传播，以及基于时间流逝的外源驱动（Eq. 4）。
• 使用基于强度的注意机制，通过共享的随机矩阵 S 和一跳邻域来聚合邻居信息（方程 5 及相关）。
• 通过最大化观测事件的对数似然，并对存活项使用高效的代理来实现可扩展性（Eq. 7 和 Algorithm 2）。

实验结果

研究问题

• RQ1 单一的归纳式框架是否能够学习同时捕捉拓扑变化和交互动态的随时间演化节点嵌入？
• RQ2 结合时间尺度感知的时点过程和中介式嵌入更新，是否在动态连边预测和事件时间预测方面超越基线？
• RQ3 基于强度的注意机制是否能够有效地通过图传播介观信息以更新嵌入？
• RQ4 所提学习过程在保持预测精度的同时，是否对大量事件具备可扩展性？
• RQ5 在具有不同网络属性的真实数据集上，动态连边预测和事件时间预测的表现如何？

主要发现

• 在两个真实世界数据集上，DyRep 在动态连边预测和事件时间预测方面显著优于代表性基线。
• 该模型通过为每种事件类型学习时间尺度参数并使用基于 softplus 的强度函数来处理多尺度动态。
• 嵌入更新将局部传播、自传播和外源驱动结合起来，以反映事件驱动的变化。
• 基于强度的注意机制使介观信息能通过本地邻域传播。
• 学习过程的时间复杂度与事件数量线性相关，使之能够处理网络规模级别的动态网络。
• DyRep 在社交演化和 Github 数据集上，对通信和关联事件均显示出强劲的表现。