[论文解读] SINE: Scalable Incomplete Network Embedding

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Oct 16, 2018

Advanced Graph Neural Networks参考文献 19被引用 4

一句话总结

SINE 提出了一种可扩展的、基于概率的网络嵌入方法，通过联合建模节点-上下文关系与节点-属性关系，从不完整网络中学习鲁棒的低维表示。通过使用随机梯度下降进行在线学习，SINE 在大规模网络上高效处理缺失链接和属性，同时在不完整数据设置下的节点分类、聚类和链接预测任务中，性能优于现有最先进基线方法。

ABSTRACT

Attributed network embedding aims to learn low-dimensional vector representations for nodes in a network, where each node contains rich attributes/features describing node content. Because network topology structure and node attributes often exhibit high correlation, incorporating node attribute proximity into network embedding is beneficial for learning good vector representations. In reality, large-scale networks often have incomplete/missing node content or linkages, yet existing attributed network embedding algorithms all operate under the assumption that networks are complete. Thus, their performance is vulnerable to missing data and suffers from poor scalability. In this paper, we propose a Scalable Incomplete Network Embedding (SINE) algorithm for learning node representations from incomplete graphs. SINE formulates a probabilistic learning framework that separately models pairs of node-context and node-attribute relationships. Different from existing attributed network embedding algorithms, SINE provides greater flexibility to make the best of useful information and mitigate negative effects of missing information on representation learning. A stochastic gradient descent based online algorithm is derived to learn node representations, allowing SINE to scale up to large-scale networks with high learning efficiency. We evaluate the effectiveness and efficiency of SINE through extensive experiments on real-world networks. Experimental results confirm that SINE outperforms state-of-the-art baselines in various tasks, including node classification, node clustering, and link prediction, under settings with missing links and node attributes. SINE is also shown to be scalable and efficient on large-scale networks with millions of nodes/edges and high-dimensional node features. The source code of this paper is available at https://github.com/daokunzhang/SINE.

研究动机与目标

• 解决现有属性网络嵌入方法在真实网络中对缺失链接和不完整节点属性的脆弱性。
• 开发一种可扩展的解决方案，确保在包含数百万个节点和高维特征的大规模网络上保持高性能。
• 提供一种灵活的学习框架，充分利用现有信息，同时最小化缺失数据对表征学习的负面影响。
• 通过基于在线随机梯度下降的算法实现高计算效率，支持实时和大规模部署。

提出的方法

• SINE 构建了一个概率学习框架，分别建模节点-上下文关系与节点-属性关系，以捕捉结构依赖与内容依赖。
• 采用三层神经网络将节点拓扑结构与属性耦合，实现联合表征学习。
• 通过随机游走建模更广泛的结构依赖关系，并保持远距离节点间的相似性。
• 推导出基于随机梯度下降（SGD）的在线优化策略，实现在大规模网络上的可扩展、增量式学习。
• 使用哈达玛积（Hadamard operator）融合来自上下文视图与属性视图的节点表征，增强特征融合效果。
• SINE 通过聚焦可用信息，动态适应缺失数据，降低不完整特征或链接的影响。

实验结果

研究问题

• RQ1 如何使网络嵌入在大规模网络中对缺失链接和不完整节点属性具有鲁棒性？
• RQ2 概率框架能否联合建模节点-上下文与节点-属性关系，从而在不完整数据条件下提升表征质量？
• RQ3 SINE 基于在线 SGD 的学习策略在大规模网络上的可扩展性与效率方面，与批处理方法相比如何？
• RQ4 在缺失数据条件下，SINE 在节点分类、聚类和链接预测任务中的表现相较于最先进基线方法，优势有多大？

主要发现

• 在 Cora 数据集上，当属性缺失率达 50% 时，SINE 在节点分类任务中取得最高的 Micro-F1 分数 0.9382，显著优于第二名方法 LINE-2（0.8787）。
• 在 DBLP(Full) 数据集上，SINE 在 50% 缺失边的情况下仍保持出色的链接预测性能，F1 分数达 0.8497，优于所有基线方法。
• SINE 展现出卓越的可扩展性，运行时间与 DeepWalk 和 LINE 相当，且显著快于 TADW、HSCA、SDNE 和 MVC-DNE 在大规模网络上的表现。
• 该方法对缺失数据具有鲁棒性：随着缺失边比例增加，SINE 的性能下降幅度小于其他方法，尤其在仅依赖结构的基线方法中表现更优。
• 参数敏感性分析表明，随着迭代次数、窗口大小和嵌入维度的增加，性能持续提升，超过某一阈值后趋于稳定。
• SINE 在所有评估数据集（Cora、Citeseer、DBLP）和所有任务中均保持最佳或第二佳性能，证实了其有效性与泛化能力。