[论文解读] Overlapping Community Detection via Local Spectral Clustering

Yixuan Li, Kun He+2 more|arXiv (Cornell University)|Sep 26, 2015

Complex Network Analysis Techniques参考文献 19被引用 6

一句话总结

本文提出Lemon，一种用于重叠社区检测的局部谱聚类方法，通过在从短随机游走中导出的局部谱的张成空间中寻找稀疏指示向量来识别社区。该方法通过求解ℓ¹-惩罚线性规划，实现了最先进的准确率和效率，运行时间与社区大小成正比，而非图的大小。

ABSTRACT

Large graphs arise in a number of contexts and understanding their structure and extracting information from them is an important research area. Early algorithms on mining communities have focused on the global structure, and often run in time functional to the size of the entire graph. Nowadays, as we often explore networks with billions of vertices and find communities of size hundreds, it is crucial to shift our attention from macroscopic structure to microscopic structure in large networks. A growing body of work has been adopting local expansion methods in order to identify the community members from a few exemplary seed members. In this paper, we propose a novel approach for finding overlapping communities called LEMON (Local Expansion via Minimum One Norm). The algorithm finds the community by seeking a sparse vector in the span of the local spectra such that the seeds are in its support. We show that LEMON can achieve the highest detection accuracy among state-of-the-art proposals. The running time depends on the size of the community rather than that of the entire graph. The algorithm is easy to implement, and is highly parallelizable. We further provide theoretical analysis on the local spectral properties, bounding the measure of tightness of extracted community in terms of the eigenvalues of graph Laplacian. Moreover, given that networks are not all similar in nature, a comprehensive analysis on how the local expansion approach is suited for uncovering communities in different networks is still lacking. We thoroughly evaluate our approach using both synthetic and real-world datasets across different domains, and analyze the empirical variations when applying our method to inherently different networks in practice. In addition, the heuristics on how the seed set quality and quantity would affect the performance are provided.

研究动机与目标

• 通过将重点转向与社区规模相当的局部计算，解决全局谱聚类方法在大规模图上扩展性差的局限性。
• 开发一种高效且准确的方法，用于检测大规模网络中社区较小且常共享成员的重叠社区。
• 通过利用从短随机游走中导出的局部谱特性，实现快速社区检测，将计算成本降低为仅依赖于社区大小而非图的大小。
• 利用图拉普拉斯矩阵的特征值，为社区紧密度提供理论边界，以更好地理解检测到的社区的结构特性。
• 研究局部展开方法在包括合成网络和真实网络在内的多种网络类型中的经验行为，以评估其鲁棒性和参数敏感性。

提出的方法

• 通过从种子顶点出发的短随机游走计算奇异向量近似，构建局部谱，形成低维不变子空间。
• 将社区检测问题表述为在局部谱张成空间中寻找一个包含种子顶点在其支撑集中的稀疏向量。
• 使用ℓ¹-正则化线性规划求解稀疏指示向量，以促进稀疏性并确保种子包含在解中。
• 采用一种局部谱方法，避免计算完整的谱分解，与传统谱聚类相比显著降低了计算开销。
• 利用随机游走的结构，自然强调局部连通性模式，从而实现有效的社区边界检测。
• 设计算法时注重高度可并行化和易于实现，且在真实世界部署中几乎无需调参。

实验结果

研究问题

• RQ1 如何改进局部谱聚类，使其在检测重叠社区方面比现有全局或局部方法更有效？
• RQ2 种子集合的质量和大小对不同网络类型中局部扩展算法性能的影响是什么？
• RQ3 随机游走长度和子空间维度等参数如何影响合成网络和真实网络中社区检测的准确率和鲁棒性？
• RQ4 该算法在人工生成的网络（如LFR基准）和自然存在的真实网络之间的性能差异有多大？
• RQ5 能否在局部谱方法的背景下，利用图拉普拉斯矩阵的特征值推导出社区紧密度的理论边界？

主要发现

• 在合成LFR基准图和真实网络上，Lemon在所有最先进方法中实现了最高的检测准确率。
• 该算法的运行时间与检测到的社区大小成正比，即使在十亿顶点的图上也能实现亚秒级检测。
• 在真实网络中，Lemon对参数选择具有鲁棒性，(k=3, l=3) 和种子集合大小为3时始终表现出色。
• 与合成LFR图相比，Lemon在真实网络上对随机游走步数和子空间维度的敏感度更低，表明其具有更好的实际稳定性。
• 该方法对真实网络中的高阶顶点更敏感，这些顶点可能扭曲随机游走动态；通过减少在这些节点上的初始概率质量可缓解此问题。
• 与LC和DEMON相比，Lemon避免了社区的过度分割或过度合并，生成的结果更接近真实结构。