[论文解读] On the Equivalence Between Temporal and Static Graph Representations for Observational Predictions

Jianfei Gao, Bruno Ribeiro|arXiv (Cornell University)|Mar 12, 2021

Epigenetics and DNA Methylation参考文献 59被引用 10

一句话总结

本文提出了一种新颖的时序-图框架用于时序图表示学习，其中节点和边的动力学首先通过序列模型（例如RNN或Transformer）进行编码，然后输入到静态图神经网络中。该方法在理论上和实证上均证明，当使用表达能力有限的GNN时，该方法在表达能力和性能上优于标准的时序与图联合方法，同时在真实任务中也实现了更高的效率。

ABSTRACT

This work formalizes the associational task of predicting node attribute evolution in temporal graphs from the perspective of learning equivariant representations. We show that node representations in temporal graphs can be cast into two distinct frameworks: (a) The most popular approach, which we denote as time-and-graph, where equivariant graph (e.g., GNN) and sequence (e.g., RNN) representations are intertwined to represent the temporal evolution of node attributes in the graph; and (b) an approach that we denote as time-then-graph, where the sequences describing the node and edge dynamics are represented first, then fed as node and edge attributes into a static equivariant graph representation that comes after. Interestingly, we show that time-then-graph representations have an expressivity advantage over time-and-graph representations when both use component GNNs that are not most-expressive (e.g., 1-Weisfeiler-Lehman GNNs). Moreover, while our goal is not necessarily to obtain state-of-the-art results, our experiments show that time-then-graph methods are capable of achieving better performance and efficiency than state-of-the-art time-and-graph methods in some real-world tasks, thereby showcasing that the time-then-graph framework is a worthy addition to the graph ML toolbox.

研究动机与目标

• 通过等变表示学习的视角，形式化时序图中的观测预测问题。
• 解决现有时序与图联合方法在使用表达能力有限的GNN时，难以捕捉复杂时序动态的局限性。
• 提出并分析一种新的时序-图框架，该框架将时序序列建模与静态图表示学习相分离。
• 建立时序-图框架在表达能力和效率方面相对于时序与图联合架构的理论与实证优势。

提出的方法

• 时序-图框架首先使用序列模型（例如RNN、Transformer）对节点和边属性的时序演化进行建模，生成序列表示。
• 这些序列表示随后作为输入特征输入到静态GNN中，以学习全局、等变的图表示。
• 该方法在应用图级别消息传递之前，将时序动态视为输入序列，从而实现时序学习与结构学习的解耦。
• 利用1-Weisfeiler-Lehman（1-WL）GNN作为构建模块，分析在表达能力受限条件下的表达能力。
• 该框架在合成数据集和真实世界数据集（包括交通、疾病传播和COVID-19预测任务）上进行了评估。
• 通过测量多种模型和数据集下的GNN与非GNN计算时间，分析了效率表现。

实验结果

研究问题

• RQ1 当使用1-WL GNN作为组件时，时序-图框架在理论上是否具有相对于时序与图联合方法的表达能力优势？
• RQ2 时序-图模型是否能在真实世界的观测预测任务中超越最先进水平的时序与图联合模型？
• RQ3 在不同类型的时序图拓扑结构下，时序-图框架的效率如何与时序与图基线模型进行比较？
• RQ4 在何种条件下，时序-图框架能够实现更优的性能和计算效率？

主要发现

• 理论证明表明，当使用1-WL GNN时，时序-图表示在表达能力上优于时序与图联合方法。
• 在合成任务中，时序-图模型在预测精度上优于最先进水平的时序与图联合方法、TGAT和TGN方法。
• 在真实世界应用中，时序-图方法实现了更好或相当的性能，同时显著提升了训练效率。
• 在大多数数据集上，GRU-GCN变体的时序-图模型训练时间最快，这是由于在聚合图上减少了GNN计算量。
• 在密集图（如Brain10）上，时序-图效率下降，原因在于边数过多，表明性能依赖于图的拓扑结构。
• 时序-图方法通过聚合时序边降低了GNN计算成本，但当边数保持较高时，该优势会减弱。