[论文解读] Representation Learning in Large Attributed Graphs.

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Oct 25, 2017

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种基于属性随机游走的大型属性图表示学习通用框架，该框架将节点属性映射为嵌入向量，且不依赖于节点身份。通过学习一个函数 Φ: x → w 来嵌入属性向量，该方法实现了归纳式、空间高效的表示学习，并支持属性图，从而克服了 DeepWalk 和 node2vec 等基于身份的归纳方法在可扩展性方面的关键局限。

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $\Phi : \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

研究动机与目标

• 解决现有基于随机游走的方法存在的归纳性不足、难以扩展到大规模图的问题。
• 通过引入基于函数的方法，避免为每个节点单独学习嵌入，从而提升效率并实现跨节点泛化。
• 实现在节点除连接关系外还包含丰富特征信息的属性图中的表示学习。
• 将 DeepWalk 和 node2vec 等现有方法推广为归纳式方法，使其可应用于未见节点和图。
• 开发一种空间高效的框架，通过参数化函数 Φ 直接从节点属性学习嵌入。

提出的方法

• 提出一种基于属性随机游走的框架，该框架不依赖于节点身份，而是依赖于节点属性向量。
• 定义一个函数 Φ: x → w，将节点的属性向量 x 映射为低维嵌入向量 w。
• 利用该函数生成随机游走，其中状态转移由属性相似性决定，而非节点身份。
• 使用与 node2vec 类似的 skip-gram 与负采样方法，端到端训练函数 Φ，但应用于属性向量。
• 通过允许模型基于节点属性为之前未见过的节点生成嵌入，实现归纳学习。
• 通过在游走生成和嵌入过程中整合节点特征，支持属性图。

实验结果

研究问题

• RQ1 是否可以实现属性图中的归纳式表示学习，从而避免在新增节点时需要重新训练？
• RQ2 如何将基于随机游走的方法从依赖节点身份推广到利用节点属性？
• RQ3 学习到的函数 Φ: x → w 在大规模图中能在多大程度上提升可扩展性和空间效率？
• RQ4 所提出的框架在节点分类和链接预测等下游任务中能否保持或提升性能？
• RQ5 与传统的基于身份的随机游走相比，该属性随机游走框架在泛化能力和效率方面表现如何？

主要发现

• 所提出的框架实现了归纳式表示学习，可为未见过的节点生成嵌入而无需重新训练。
• 通过学习函数 Φ: x → w，该方法实现了空间效率，避免了为每个节点存储唯一嵌入的需要。
• 该框架通过用基于属性的游走生成替代对节点身份的依赖，推广了 DeepWalk 和 node2vec 等现有方法。
• 该方法支持属性图，通过节点特征实现了更丰富的表示学习。
• 该方法与 skip-gram 与负采样兼容，确保在下游任务中保持优异性能。
• 该框架为将基于随机游走的方法扩展至大规模、属性化、归纳式图表示学习场景提供了统一基础。