[论文解读] On Efficiently Detecting Overlapping Communities over Distributed Dynamic Graphs

Xun Jian, Xiang Lian+1 more|arXiv (Cornell University)|Jan 18, 2018

Complex Network Analysis Techniques参考文献 20被引用 3

一句话总结

本文提出 rSLPA，一种随机化发言者-听众标签传播算法，可在分布式、动态图中实现高效、增量式的重叠社区检测。通过放松标签传播的概率分布，rSLPA 在保持高准确率的同时，实现了边插入或删除后的亚线性时间更新，使其成为首个在更新图上通过增量方式实现与从头批量重新处理等效结果的算法。

ABSTRACT

Modern networks are of huge sizes as well as high dynamics, which challenges the efficiency of community detection algorithms. In this paper, we study the problem of overlapping community detection on distributed and dynamic graphs. Given a distributed, undirected and unweighted graph, the goal is to detect overlapping communities incrementally as the graph is dynamically changing. We propose an efficient algorithm, called extit{randomized Speaker-Listener Label Propagation Algorithm} (rSLPA), based on the extit{Speaker-Listener Label Propagation Algorithm} (SLPA) by relaxing the probability distribution of label propagation. Besides detecting high-quality communities, rSLPA can incrementally update the detected communities after a batch of edge insertion and deletion operations. To the best of our knowledge, rSLPA is the first algorithm that can incrementally capture the same communities as those obtained by applying the detection algorithm from the scratch on the updated graph. Extensive experiments are conducted on both synthetic and real-world datasets, and the results show that our algorithm can achieve high accuracy and efficiency at the same time.

研究动机与目标

• 解决在随时间演变的大规模动态图中检测重叠社区的挑战。
• 设计一种算法，在图结构发生变化后，增量式更新社区检测结果，而无需从头重新计算。
• 确保增量更新的结果质量与从头重新处理整个更新图的结果相当。
• 在分布式环境中，通过高度可并行化的方法，实现高效、可扩展的社区检测。
• 为动态图场景下的增量更新时间复杂度提供理论边界。

提出的方法

• rSLPA 通过放松标签传播中使用的概率分布，扩展了 SLPA 算法，引入随机化以提升稳定性和可扩展性。
• 该算法在标签传播阶段使用随机选择机制，以降低对初始条件的敏感性并改善收敛性。
• 标签传播后，通过后处理步骤对每个顶点的标签进行聚合，并基于标签频率和重叠关系提取社区。
• 增量更新机制能够检测图结构的变化（边的插入或删除），并仅选择性地重新计算受影响的标签分布部分。
• 该算法设计为可分布执行，支持在集群中多个节点上并行运行。
• 理论分析推导了预期时间复杂度，并为不同图变化场景下的增量更新提供了上下界。

实验结果

研究问题

• RQ1 是否能够高效且增量式地更新分布式、动态图中的重叠社区检测？
• RQ2 rSLPA 的增量更新是否能产生与从头批量重新处理等效质量的结果？
• RQ3 rSLPA 的增量更新机制的时间复杂度是多少？其随变化边数的增加如何扩展？
• RQ4 与现有静态或非增量算法相比，rSLPA 在准确率和效率方面表现如何？
• RQ5 rSLPA 是否能以相对于边变化数的亚线性更新时间，维持高质量的社区检测？

主要发现

• rSLPA 实现了高准确率，在合成 LFR 基准数据集上的标准化互信息（NMI）得分始终高于 0.8。
• rSLPA 的增量更新机制在变化边数上表现出亚线性运行时间，使其在大规模批量修改场景下依然高效。
• rSLPA 产生的社区检测结果质量与从头重新处理整个更新图所得结果完全相当。
• 由于其高度可并行化的标签传播机制和局部化更新策略，rSLPA 在分布式环境中表现出良好的可扩展性。
• 在真实世界和合成图上的大量实验表明，rSLPA 在动态重叠社区检测方面，无论在效率还是准确率上均优于现有方法。
• 理论分析证实，rSLPA 的增量更新具有有界时间复杂度，且为不同图变化场景推导出了上下界。