[论文解读] Overlapping Communities in Social Networks

Jan Dreier, Philipp Kuinke+4 more|arXiv (Cornell University)|Dec 16, 2014

Complex Network Analysis Techniques参考文献 22被引用 5

一句话总结

本文提出了一种简单的半监督随机游走算法，用于检测社交网络中的非重叠社区和重叠社区。给定用户标记的一小部分种子节点，该方法利用随机游走传播社区成员身份，实现近线性时间复杂度 $O(k \times m \times \tan n)$，并在仅使用每社区6–8%种子节点的情况下，优于LFR基准测试中的最先进算法。

ABSTRACT

Complex networks can be typically broken down into groups or modules. Discovering this "community structure" is an important step in studying the large-scale structure of networks. Many algorithms have been proposed for community detection and benchmarks have been created to evaluate their performance. Typically algorithms for community detection either partition the graph (non-overlapping communities) or find node covers (overlapping communities). In this paper, we propose a particularly simple semi-supervised learning algorithm for finding out communities. In essence, given the community information of a small number of "seed nodes", the method uses random walks from the seed nodes to uncover the community information of the whole network. The algorithm runs in time $O(k \cdot m \cdot \log n)$, where $m$ is the number of edges; $n$ the number of links; and $k$ the number of communities in the network. In sparse networks with $m = O(n)$ and a constant number of communities, this running time is almost linear in the size of the network. Another important feature of our algorithm is that it can be used for either non-overlapping or overlapping communities. We test our algorithm using the LFR benchmark created by Lancichinetti, Fortunato, and Radicchi specifically for the purpose of evaluating such algorithms. Our algorithm can compete with the best of algorithms for both non-overlapping and overlapping communities as found in the comprehensive study of Lancichinetti and Fortunato.

研究动机与目标

• 解决现有社区检测算法在速度过慢或无法有效处理重叠社区方面的局限性。
• 通过少量用户标记的种子节点，将用户知识融入算法，以实用且交互式的方式引导社区检测。
• 设计一种可扩展的算法，在稀疏网络上高效运行，同时支持非重叠和重叠社区结构。
• 在LFR基准测试（社区检测算法的标准测试平台）上评估该方法，以证明其具有竞争力的性能。

提出的方法

• 该算法从少量用户标记的种子节点出发，利用随机游走将社区成员身份在网络中传播。
• 它将社区隶属关系建模为由随机游走吸收概率导出的线性方程组，使用稀疏直接求解器（Cholesky分解）求解。
• 通过计算每个节点对多个社区的亲和度得分，该方法同时支持非重叠和重叠社区。
• 通过迭代优化步骤改进性能：基于更新后的亲和度得分重新分类节点，从而提升NMI准确率。
• 该算法使用C++ Eigen库实现稀疏线性系统求解，时间复杂度为 $O(k \times m \times \log n)$。
• 通过在不同混合因子和重叠比例下使用LFR基准测试，验证了该方法的鲁棒性。

实验结果

研究问题

• RQ1 简单的半监督随机游走算法是否能在检测非重叠和重叠社区方面实现具有竞争力的性能？
• RQ2 该算法的性能如何随种子节点比例和网络混合因子的变化而变化？
• RQ3 迭代优化在多大程度上提升了社区检测的准确率？
• RQ4 与Cfinder等最先进方法相比，该算法在准确率和可扩展性方面表现如何？

主要发现

• 该算法在LFR基准测试中表现具有竞争力，对于重叠社区的检测，其性能优于Cfinder，最高可达0.4的重叠分数。
• 在非重叠情况下，仅需每社区6%的种子节点，即可实现高准确率，且能容忍高达0.5的混合因子。
• 对于重叠社区，该算法约需每社区8%的种子节点，在混合因子为0.3、重叠分数为20%时表现良好。
• 迭代优化可使NMI提升最高达10%，表明在计算开销不显著增加的情况下，可实现逐步的准确率提升。
• 该算法运行时间接近线性，为 $O(k \times m \times \log n)$，适用于 $m = O(n)$ 的稀疏网络。
• 尽管当前实现依赖于Cholesky分解（对大规模网络计算成本较高），但未来集成Speilman-Teng等更快的SDD求解器，有望实现对更大真实网络的可扩展性。