[论文解读] Structure and Overlaps of Communities in Networks

Jaewon Yang, Jure Leskovec|arXiv (Cornell University)|May 28, 2012

Complex Network Analysis Techniques参考文献 24被引用 44

一句话总结

本文提出了社区隶属图模型（AGM），一种生成模型，通过在二部图中对节点-社区隶属关系进行建模，捕捉现实网络中密集重叠的结构。研究发现，社区重叠部分的连接密度高于非重叠部分——这与传统假设相反——并证明AGM在复制真实网络属性（包括度分布和聚类系数）方面优于当前最先进的模型。

ABSTRACT

One of the main organizing principles in real-world social, information and technological networks is that of network communities, where sets of nodes organize into densely linked clusters. Even though detection of such communities is of great interest, understanding the structure communities in large networks remains relatively limited. Due to unavailability of labeled ground-truth data it is practically impossible to evaluate and compare different models and notions of communities on a large scale. In this paper we identify 6 large social, collaboration, and information networks where nodes explicitly state their community memberships. We define ground-truth communities by using these explicit memberships. We then empirically study how such ground-truth communities emerge in networks and how they overlap. We observe some surprising phenomena. First, ground-truth communities contain high-degree hub nodes that reside in community overlaps and link to most of the members of the community. Second, the overlaps of communities are more densely connected than the non-overlapping parts of communities, in contrast to the conventional wisdom that community overlaps are more sparsely connected than the communities themselves. Existing models of network communities do not capture dense community overlaps. We present the Community-Affiliation Graph Model (AGM), a conceptual model of network community structure, which reliably captures the overall structure of networks as well as the overlapping nature of network communities.

研究动机与目标

• 识别大规模网络中明确定义的真实社区隶属关系，以支持对社区结构的经验研究。
• 研究真实社区的结构特性，特别是社区重叠的性质与连通性。
• 通过实证证明重叠部分比非重叠部分连接更紧密，挑战传统假设认为重叠部分更稀疏的观点。
• 构建一个生成模型，准确再现真实网络中观察到的社区结构与重叠模式。
• 利用真实网络中的真实数据，为社区检测算法提供可靠的评估基准。

提出的方法

• 识别六个大规模网络（LiveJournal、Friendster、Orkut、DBLP、IMDB、Amazon），其中节点明确声明其社区隶属关系，从而建立真实社区。
• 使用二部图建模社区隶属关系，一侧为节点，另一侧为社区，边表示隶属关系。
• 将两节点间边存在的概率定义为共享社区数的函数，采用概率公式以支持灵活的重叠结构。
• 提出社区隶属图模型（AGM），一种生成模型，可生成具有现实社区结构与重叠模式的合成网络。
• 使用公式(2)中的似然函数估计模型参数，包括社区隶属概率与边生成概率。
• 使用Kolmogorov-Smirnov（KS）统计量等统计指标，将AGM与LFR基准进行对比，评估其在度分布、聚类系数和特征值分布等关键网络属性上的表现。

实验结果

研究问题

• RQ1 真实网络中的真实社区在内部连通性与重叠性方面，其结构差异如何？
• RQ2 社区重叠部分与社区的非重叠部分相比，连接密度更高还是更低？
• RQ3 何种潜在生成过程可以解释观察到的社区重叠部分的高密度连通性？
• RQ4 能否构建一个生成模型，准确再现真实网络中观察到的社区结构与重叠模式？
• RQ5 所提出的AGM模型在复制真实网络属性方面，与LFR等现有基准相比表现如何？

主要发现

• 真实网络中的真实社区包含大量高阶度的枢纽节点，这些节点位于社区重叠区域，且与社区中的大多数成员相连。
• 与传统认知相反，社区重叠部分的连通性高于非重叠部分，重叠区域的连通性甚至超过非重叠区域。
• AGM在社区检测性能上相比LFR基准实现了60%的相对提升，表明其更能准确捕捉真实社区结构。
• 在6项网络属性中的5项上，AGM优于LFR：度分布拟合度提高9%，聚类系数拟合度提高221%，三元组参与度提高120%，特征值分布拟合度提高122%。
• AGM能高度复现真实网络属性，平均KS统计量差异显示，除特征向量外，AGM在所有评估属性上均优于LFR；在特征向量方面，LFR表现更好17%。
• AGM为社区检测提供了现实可靠的基准，使基于真实网络真实数据的新算法评估成为可能。