[论文解读] Towards Better Evaluation for Dynamic Link Prediction

Farimah Poursafaei, Shenyang Huang+2 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Graph Neural Networks被引用 31

一句话总结

本文批评了现有的动态链接预测评估，提出了两种更严格的负采样策略、一个记忆基线 EdgeBank、新的动态图数据集，以及用于更好区分方法的可视化工具 TEA/TET。

ABSTRACT

Despite the prevalence of recent success in learning from static graphs, learning from time-evolving graphs remains an open challenge. In this work, we design new, more stringent evaluation procedures for link prediction specific to dynamic graphs, which reflect real-world considerations, to better compare the strengths and weaknesses of methods. First, we create two visualization techniques to understand the reoccurring patterns of edges over time and show that many edges reoccur at later time steps. Based on this observation, we propose a pure memorization baseline called EdgeBank. EdgeBank achieves surprisingly strong performance across multiple settings because easy negative edges are often used in the current evaluation setting. To evaluate against more difficult negative edges, we introduce two more challenging negative sampling strategies that improve robustness and better match real-world applications. Lastly, we introduce six new dynamic graph datasets from a diverse set of domains missing from current benchmarks, providing new challenges and opportunities for future research. Our code repository is accessible at https://github.com/fpour/DGB.git.

研究动机与目标

• 识别现有动态链接预测评估程序的局限性。
• 提出更鲁棒的负采样策略，能够反映现实世界的边缘复现性。
• 引入一个简单的记忆化基线（EdgeBank）来评估记忆效应。
• 提供来自多领域的六个新的动态图数据集，以拓展评估维度。
• 开发可视化工具（TEA 和 TET）来表征跨时序的边缘复现性和流量模式。

提出的方法

• 开发 TEA 图来可视化随时间重复边和新边的比例混合。
• 开发 TET 图以展示边缘再现模式并对训练/测试边进行分类。
• 提出 EdgeBank，一种非参数化记忆基线，存储观测到的边并将记忆的边预测为正样本。
• 引入两种新颖的负采样策略——历史 NS 和 归纳 NS——以创建更困难、更具现实性的评估场景。
• 在多样化数据集上，评估最先进的动态图神经网络在标准随机 NS 与新 NS 策略下的性能。

实验结果

研究问题

• RQ1 在更具挑战性的负样本下，现有的动态链接预测方法在区分能力方面的表现如何？
• RQ2 记忆化在跨数据集的动态链接预测中对性能的贡献到底有多大？
• RQ3 当前的基准测试是否覆盖了领域多样性，还是偏向某些特定的动态模式？
• RQ4 可视化工具（TEA/TET）是否能揭示影响模型评估的边缘再现模式？

主要发现

• EdgeBank，一种简单的记忆基线，在多个数据集上对比最先进方法仍具竞争力，凸显在某些评估下记忆化是一个强因素。
• 两种新颖的负采样策略（历史 NS 与归纳 NS）显著改变方法排名并暴露在随机 NS 下未见的弱点。
• 动态链接预测模型的性能排名在数据集和 NS 设置之间差异很大，表明当前基准可能高估了泛化能力。
• 来自政治、交通与经济领域的六个新的动态图数据集拓宽了对社会/交互网络以外的评估。
• TEA 和 TET 图揭示边缘再现性和流量模式在跨领域中具有显著变异性，为更鲁棒的评估设计提供指引。
• EdgeBank 在历史 NS 设置中表现良好，有时甚至超过复杂模型，强调需要更强的基线。