[论文解读] Representation Learning for Dynamic Graphs: A Survey

Seyed Mehran Kazemi, Rishab Goel+5 more|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 250被引用 69

一句话总结

对动态图的神经表示学习技术的全面综述，围绕编码器–解码器框架，涵盖离散/连续时间动力学、知识图/异构信息网络设置及应用。它讨论模型、表达能力、数据集、任务和未解决的研究方向。

ABSTRACT

Graphs arise naturally in many real-world applications including social networks, recommender systems, ontologies, biology, and computational finance. Traditionally, machine learning models for graphs have been mostly designed for static graphs. However, many applications involve evolving graphs. This introduces important challenges for learning and inference since nodes, attributes, and edges change over time. In this survey, we review the recent advances in representation learning for dynamic graphs, including dynamic knowledge graphs. We describe existing models from an encoder-decoder perspective, categorize these encoders and decoders based on the techniques they employ, and analyze the approaches in each category. We also review several prominent applications and widely used datasets and highlight directions for future research.

研究动机与目标

• 解释动态图表示学习的挑战与动机。
• 提供跨时间尺度（连续与离散）的动态图模型的编码器–解码器分类。
• 综述动态图的编码器和解码器、它们的表达能力及训练范式。
• 突出常见任务、数据集、应用和开放问题以指导未来研究。

提出的方法

• 定义动态图形式化（连续时间和离散时间）及预测任务。
• 提出一个编码器–解码框架以对动态图模型进行分类。
• 综述时序编码/解码技术，包括序列模型、注意力和时序点过程。
• 讨论动态图模型及 KG/HIN 扩展的表达能力概念。
• 回顾数据集与应用，并概述开放问题和未来方向。

实验结果

研究问题

• RQ1 动态图使用的主要编码器和解码器技术有哪些？它们如何分类？
• RQ2 动态图如何处理插值和外推任务，包括流式场景？
• RQ3 动态图表示学习的关键数据集、应用和开放挑战是什么？
• RQ4 表达能力如何为动态图模型定义与分析，包括知识图和异构信息网络？

主要发现

• 综述通过连续时间和离散时间定义形式化动态图，并澄清节点/边/图分类等预测任务。
• 以编码器–解码视角对动态图模型及其跨时间的嵌入进行系统化。
• 覆盖时序编码方法、序列模型、注意力机制和时序点过程作为核心技术。
• 工作讨论模型表达能力，包括节点、边和图预测任务的完全表达能力概念。
• 总结应用、数据集和未研究方向以指导未来在动态图表示学习中的工作。