[论文解读] Node Representation Learning for Multiple Networks: The Case of Graph Alignment.

Mark Heimann, Haoming Shen+1 more|arXiv (Cornell University)|Feb 17, 2018

Advanced Graph Neural Networks参考文献 34被引用 7

一句话总结

本文提出 xNetMF，一种基于跨网络矩阵分解与 Nystro¨m 近似的可扩展节点表示学习方法，实现高效且准确的图对齐。该方法引入了 REGAL，首个基于表示的图对齐方法，在包含数百万个节点的大规模网络上，相比先前方法实现 20–30% 更高的准确率，且训练速度最快提升 30 倍。

ABSTRACT

Recent advances in representation learning produce node embeddings that may be used successfully in many downstream tasks (e.g., link prediction), but do not generally extend beyond a single network. Motivated by the prevalence of multi-network problems, such as graph alignment, similarity, and transfer learning, we introduce an elegant and principled node embedding formulation, Cross-network Matrix Factorization or xNetMF, to effectively and efficiently learn embeddings from similarities based on the nodes' structural and attribute identities (if available), which are comparable across networks. Leveraging the Nystr\om method for low-rank approximation, we achieve significant reduction in space and time compared to the na\ive approach of directly factorizing the node similarity matrix, with xNetMF running up to 30x faster than existing representation learning methods. We study its effectiveness on the task of network alignment, and introduce REGAL (REpresentation-based Graph ALignment), the first method to use node representation learning for this task. Extensive experiments on a variety of challenging real-world networks with and without attributes show that REGAL outperforms existing network alignment methods by 20 to 30% in accuracy on average, uses attributes up to 40x faster, and scales to networks with millions of nodes each.

研究动机与目标

• 弥合现有节点表示学习方法在单网络场景下的局限性，尤其针对图对齐等多网络任务中的空白。
• 设计一种系统化且可扩展的方法，利用结构相似性和属性相似性，学习跨多个网络的可比节点嵌入。
• 通过低秩近似降低计算与内存开销，实现大规模网络的高效表示学习。
• 设计一种新颖的图对齐方法 REGAL，利用学习到的节点表示提升对齐精度与速度。
• 在具有与不具有属性的真实世界网络上验证该方法的有效性，展示其卓越的可扩展性与性能表现。

提出的方法

• 通过跨网络矩阵分解（xNetMF）构建多网络节点表示学习框架，基于结构与属性身份建模节点相似性。
• 应用 Nystro¨m 方法对完整节点相似性矩阵进行近似，相比直接分解显著降低空间与时间复杂度。
• 通过对近似相似性矩阵进行分解，学习低维嵌入，实现在不同网络间高效且可比的表示。
• 将学习到的嵌入整合进新型图对齐框架 REGAL，采用基于表示的匹配方式，而非仅依赖结构特征。
• 利用学习到的嵌入优化对齐目标，实现更快收敛与更高对齐精度。
• 通过 Nystro¨m 基于的低秩近似提升效率，使方法可扩展至每张网络包含数百万个节点的规模。

实验结果

研究问题

• RQ1 能否设计一种统一的节点表示学习框架，以在多个网络间生成可比的嵌入？
• RQ2 xNetMF 中基于 Nystro¨m 的低秩近似在不损失对齐精度的前提下，如何提升效率？
• RQ3 与仅依赖结构的方法相比，使用学习到的节点表示在图对齐性能上能提升多少？
• RQ4 所提出的 REGAL 方法在包含数百万个节点的大规模网络上如何实现可扩展性？与现有对齐技术相比，其速度与精度表现如何？
• RQ5 该方法在对齐任务中利用节点属性的效率如何？与非属性基线方法相比，性能提升有多大？

主要发现

• REGAL 在平均对齐准确率上相比现有最先进网络对齐方法提升 20–30%。
• 由于采用 Nystro¨m 近似进行低秩矩阵分解，xNetMF 的运行速度相比现有表示学习方法最快提升 30 倍。
• 该方法可扩展至每张网络包含数百万个节点的规模，使在大规模真实世界数据集上的实际应用成为可能。
• 当存在节点属性时，REGAL 利用属性的训练速度相比基线方法最快提升 40 倍，显著提升训练效率。
• 学习到的嵌入在不同网络间具有可比性，可在无需显式节点对应关系的情况下实现有效的跨网络匹配。
• 在多样化真实世界网络上的大量实验验证了 xNetMF 与 REGAL 在不同网络类型及属性可用性下的鲁棒性与泛化能力。