[论文解读] Scalable Link Prediction in Dynamic Networks via Non-Negative Matrix Factorization

Linhong Zhu, Guo, Dong+3 more|arXiv (Cornell University)|Nov 13, 2014

Complex Network Analysis Techniques参考文献 57被引用 68

一句话总结

本文提出了一种可扩展的时序潜在空间模型，用于使用带有时间平滑约束的非负矩阵分解（NMF）进行动态链接预测。它引入了三种优化算法——全局、局部和增量式BCGD——使大规模动态网络中的高效推理成为可能，在真实世界数据集上的可扩展性和预测准确性方面显著优于先前的方法。

ABSTRACT

We propose a scalable temporal latent space model for link prediction in dynamic social networks, where the goal is to predict links over time based on a sequence of previous graph snapshots. The model assumes that each user lies in an unobserved latent space and interactions are more likely to form between similar users in the latent space representation. In addition, the model allows each user to gradually move its position in the latent space as the network structure evolves over time. We present a global optimization algorithm to effectively infer the temporal latent space, with a quadratic convergence rate. Two alternative optimization algorithms with local and incremental updates are also proposed, allowing the model to scale to larger networks without compromising prediction accuracy. Empirically, we demonstrate that our model, when evaluated on a number of real-world dynamic networks, significantly outperforms existing approaches for temporal link prediction in terms of both scalability and predictive power.

研究动机与目标

• 解决动态社交网络中网络结构随时间演变时可扩展且准确的链接预测挑战。
• 在低维潜在空间中建模节点位置的时间演化，以反映用户行为和关系的渐进变化。
• 开发在保持高预测性能的同时可扩展至包含数百万个节点和边的大规模网络的优化算法。
• 引入时间平滑性以防止潜在位置的突变，从而提升泛化能力并更好地利用历史信息。
• 通过使用低秩NMF实现增量和可并行化的更新，实现高效的在线预测。

提出的方法

• 构建一种时序潜在空间模型，其中链接概率取决于随时间平滑演化的低维潜在空间中节点之间的接近程度。
• 使用非负矩阵分解（NMF）学习随时间变化的邻接矩阵的低秩表示，强制执行非负性和稀疏性。
• 引入时间平滑惩罚项，对连续时间步长之间节点位置的变化进行正则化，偏好渐进式过渡。
• 提出三种推理算法：全局BCGD用于实现最优收敛，局部BCGD用于减少计算量，增量BCGD用于实现实时可扩展性。
• 设计块坐标梯度下降更新方式，当节点不共享邻居时可实现并行化，从而提升计算效率。
• 应用降维技术以在模型准确性和计算成本之间取得平衡，且潜在空间维度可调节。

实验结果

研究问题

• RQ1 与静态模型相比，具有平滑演化的时序潜在空间模型是否能提升动态网络中的链接预测准确性？
• RQ2 如何将非负矩阵分解（NMF）适配以支持时间动态性，同时在大规模网络上保持可扩展性？
• RQ3 在动态链接预测中，哪种优化策略（全局、局部、增量）能最好地平衡预测性能与计算效率？
• RQ4 在潜在位置中强制实施时间平滑性在多大程度上能提升泛化能力并减少对当前网络快照的过拟合？
• RQ5 所提出的方法是否能扩展到包含数百万个节点和边的真实世界动态网络，同时保持高预测能力？

主要发现

• 所提出的模型在真实世界动态网络上的预测准确性方面显著优于现有的静态和动态链接预测方法。
• 增量式BCGD算法实现了高可扩展性，使大规模网络（包含数百万个节点和边）的高效在线推理成为可能。
• 时间平滑性约束减少了对当前快照的过拟合，从而产生了更稳定且更具泛化能力的潜在空间表示。
• 局部和增量式BCGD变体在大幅降低计算成本的同时，保持了与全局BCGD相当的预测准确性。
• 该模型在不同网络拓扑结构下表现出稳健性能，并能随着网络规模和密度的增加而有效扩展。
• 使用低秩NMF并结合维度控制，实现了模型准确性与计算效率之间的可调和权衡。