[论文解读] Representation Learning on Graphs: Methods and Applications

William L. Hamilton, Rex Ying+1 more|arXiv (Cornell University)|Sep 17, 2017

Advanced Graph Neural Networks被引用 298

一句话总结

对图表示学习的全面综述，将节点嵌入与子图嵌入统一在一个编码器–解码器框架下，并详细介绍浅层、深层和邻域聚合方法。

ABSTRACT

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

研究动机与目标

• 解释将图结构编码为用于下游任务的低维嵌入的核心问题。
• 在一个共同的编码器–解码器框架下统一多种图嵌入方法。
• 回顾大规模图的可扩展方法，并讨论节点和子图表示及其应用。
• 突出图表示学习中的局限性、应用与未来方向。

提出的方法

• 引入用于节点嵌入的统一编码器–解码器框架。
• 定义通用的成对解码器和基于图的相似性目标，以从嵌入中重构图结构。
• 将方法分为浅层嵌入（矩阵分解和随机游走）和广义编码器架构。
• 讨论使用节点属性和局部邻域的邻域聚合/卷积编码器。
• 讨论大规模图的优化策略和实际注意事项。

实验结果

研究问题

• RQ1 如何在保持图的拓扑结构和节点角色的前提下，将图结构编码为低维嵌入？
• RQ2 节点嵌入方法的主要家族有哪些？它们在编码器/解码器选择和损失函数方面有何差异？
• RQ3 如何超越浅层嵌入，以处理动态图、大规模或带属性的图？
• RQ4 在实际应用中，一级邻域和高阶邻域表示之间的权衡有哪些？
• RQ5 图表示学习未来工作的关键方向与局限性有哪些？

主要发现

• 存在一个统一的编码器–解码器视角，将节点嵌入方法按编码器、解码器、相似性度量和损失进行分组。
• 浅层嵌入依赖矩阵分解或随机游走，并且可以扩展到大规模图，但具有传导性局限。
• 基于随机游走的方法（DeepWalk、node2vec）利用带偏的游走来捕捉社区结构或结构角色。
• 广义编码器架构（邻域聚合/卷积编码器）和深度模型通过结合节点属性和图 locality，解决浅层方法的局限。
• 邻域聚合方法可实现归纳式表示学习，为未见节点和演化中的图提供嵌入。
• 一个通用框架有助于比较看似不同的方法，并突出可扩展性和适用性的实际考虑。