[论文解读] Provably expressive temporal graph networks

Amauri H. Souza, Diego Mesquita+2 more|arXiv (Cornell University)|Sep 29, 2022

Epigenetics and DNA Methylation被引用 16

一句话总结

本文提出了PINT，一种可证明更具表达能力的时间图网络，通过结合注入式消息传递与相对位置特征，克服了现有MP-TGNs和WA-TGNs的局限性。该研究建立了理论基础，表明注入式更新与时间Weisfeiler-Leman测试的表达能力相当，并且PINT通过同时利用全局上下文与局部动态特性，在无需采样开销的前提下，在真实世界基准测试中优于先前模型。

ABSTRACT

Temporal graph networks (TGNs) have gained prominence as models for embedding dynamic interactions, but little is known about their theoretical underpinnings. We establish fundamental results about the representational power and limits of the two main categories of TGNs: those that aggregate temporal walks (WA-TGNs), and those that augment local message passing with recurrent memory modules (MP-TGNs). Specifically, novel constructions reveal the inadequacy of MP-TGNs and WA-TGNs, proving that neither category subsumes the other. We extend the 1-WL (Weisfeiler-Leman) test to temporal graphs, and show that the most powerful MP-TGNs should use injective updates, as in this case they become as expressive as the temporal WL. Also, we show that sufficiently deep MP-TGNs cannot benefit from memory, and MP/WA-TGNs fail to compute graph properties such as girth. These theoretical insights lead us to PINT -- a novel architecture that leverages injective temporal message passing and relative positional features. Importantly, PINT is provably more expressive than both MP-TGNs and WA-TGNs. PINT significantly outperforms existing TGNs on several real-world benchmarks.

研究动机与目标

• 为时间图网络（TGNs）的表征能力建立理论基础，尽管其在实践中表现成功，但其理论理解仍不充分。
• 通过证明MP-TGNs（带记忆的消息传递）与WA-TGNs（路径聚合）在表达能力上不可比较，识别出现有TGN类别的根本局限性。
• 通过引入一种新架构PINT，解决TGNs中缺乏理论保证的问题，该架构可证明比MP-TGNs与WA-TGNs更具表达能力。
• 证明在深度MP-TGNs中记忆是冗余的，并且MP-TGNs与WA-TGNs均无法计算关键图属性，如围长与直径。

提出的方法

• 提出时间图上1-WL（Weisfeiler-Leman）测试的扩展，用于衡量TGNs在动态图上的表达能力。
• 在MP-TGNs中引入注入式消息传递与更新函数，表明此类模型可实现匿名消息传递TGNs的理论最大表达能力。
• 提出PINT，一种新型架构，结合注入式时间消息传递与可学习的相对位置特征，以模拟路径聚合方法的判别能力。
• 利用相对位置特征编码时间路径结构，无需采样，相比CAW风格的路径采样可显著降低计算成本。
• 采用增强相对位置编码的记忆机制，以捕捉长程依赖关系，同时保持高效性。
• 使用网格搜索与自动超参数选择进行模型调优，位置特征预先计算并以稀疏矩阵形式存储，以提升训练效率。

实验结果

研究问题

• RQ1 MP-TGNs与WA-TGNs的表达能力如何比较？是否存在一方完全包含另一方？
• RQ2 在足够深的架构中，MP-TGNs中的记忆是否可以被消除？
• RQ3 现有TGNs能否计算基本图属性，如围长、直径或环的数量？
• RQ4 是否存在一种TGN架构，其表达能力可被证明超过MP-TGNs与WA-TGNs？
• RQ5 注入式函数与相对位置特征在提升TGN表达能力方面发挥何种作用？

主要发现

• MP-TGNs中采用注入式消息传递与更新函数，使其表达能力与时间Weisfeiler-Leman测试相当，为匿名MP-TGNs确立了理论上限。
• 在足够深的MP-TGNs中，记忆不再带来收益，因为其感受野已通过深度覆盖远距离节点。
• MP-TGNs与WA-TGNs在表达能力上不可比较：双方均可区分对方无法区分的图结构，证明二者互不包含。
• MP-TGNs与CAW风格的WA-TGNs均无法计算图的内在属性，如围长、直径与环的数量。
• PINT在多个基准测试中达到最先进性能，在Reddit节点分类任务中排名第一（AUC: 67.31 ± 0.2），在Wikipedia任务中排名第二（87.59 ± 0.6）。
• PINT在初始预处理后比CAW更快，因其避免了昂贵的路径采样，且在Enron与LastFM数据集上每轮训练时间显著低于CAW。