[论文解读] Revealing Multiple Layers of Hidden Community Structure in Networks

Kun He, Sucheta Soundarajan+3 more|arXiv (Cornell University)|Jan 23, 2015

Complex Network Analysis Techniques参考文献 16被引用 27

一句话总结

本文提出了隐性社区结构——一种分层的、重叠的社区组织形式，其中较弱但具有意义的社区被更强的社区所掩盖。所提出的 HICODE 算法通过迭代移除主导社区结构来揭示隐藏层，在检测弱但有意义的社区方面显著优于基线方法，例如在学生网络中检测‘年级’群体时，HICODE 的 JCRecall 达到 0.7，而基线方法则低于 0.2。

ABSTRACT

We introduce a new conception of community structure, which we refer to as hidden community structure. Hidden community structure refers to a specific type of overlapping community structure, in which the detection of weak, but meaningful, communities is hindered by the presence of stronger communities. We present Hidden Community Detection HICODE, an algorithm template that identifies both the strong, dominant community structure as well as the weaker, hidden community structure in networks. HICODE begins by first applying an existing community detection algorithm to a network, and then removing the structure of the detected communities from the network. In this way, the structure of the weaker communities becomes visible. Through application of HICODE, we demonstrate that a wide variety of real networks from different domains contain many communities that, though meaningful, are not detected by any of the popular community detection algorithms that we consider. Additionally, on both real and synthetic networks containing a hidden ground-truth community structure, HICODE uncovers this structure better than any baseline algorithms that we compared against. For example, on a real network of undergraduate students that can be partitioned either by `Dorm' (residence hall) or `Year', we see that HICODE uncovers the weaker `Year' communities with a JCRecall score (a recall-based metric that we define in the text) of over 0.7, while the baseline algorithms achieve scores below 0.2.

研究动机与目标

• 解决传统社区检测算法在被更强社区掩盖时，无法识别较弱但有意义的社区结构的局限性。
• 提出隐性社区结构作为网络分析中一种新的范式，与互不相交、重叠或分层模型相区别。
• 开发 HICODE 算法框架，通过迭代消除主导社区，揭示多层社区结构。
• 通过实证结果证明，现实世界网络中存在高质量的隐性社区，而标准算法无法检测到。

提出的方法

• HICODE 首先应用现有的社区检测算法，识别网络中的主导社区结构。
• 然后通过降低边权重或修改网络结构，削弱检测到的主导层的影响，从而消除其社区信号。
• 在修改后的网络上重复此过程，以揭示后续较弱的、隐藏的社区结构层。
• 在移除较强层后，重新检测每一层，从而识别出此前被掩盖的社区。
• 该方法支持多种基础算法（例如，模块度、walk-trap、InfoMap），其中 HICODE:Mod、HICODE:WT 和 HICODE:IM 代表不同实现方式。
• 在识别后应用优化步骤，以提升检测层的质量和与真实标签的一致性，使用 NMI 和 JCF1 等指标。

实验结果

研究问题

• RQ1 当弱但有意义的社区结构被更强的社区掩盖时，传统社区检测算法能否可靠地识别出这些结构？
• RQ2 现实世界网络中，存在多少高质量的、未被标准算法检测到的隐性社区层？
• RQ3 与现有基线方法相比，HICODE 框架在恢复隐性社区结构方面的有效性如何？
• RQ4 迭代移除主导层对弱社区结构检测准确率有何影响？
• RQ5 HICODE 是否能在多种网络类型和应用领域中一致地恢复真实社区结构？

主要发现

• 在真实本科生网络中，HICODE 对隐藏的‘年级’社区层的 JCRecall 得分超过 0.7，而基线算法得分低于 0.2。
• HICODE 在整体发现真实社区方面优于所有基线重叠社区检测方法，JCF1 得分为 0.584，而其他方法为 0.470 至 0.236。
• 在 SynL2 合成网络中，HICODE:WT 在恢复隐藏层方面达到 68% 的准确率（NMI 为 0.99），显著优于基线方法。
• 在 SynL3 中，HICODE 的优化步骤使检测结果与真实社区的 NMI 相似度提升高达 210%，表现出显著的性能提升。
• 该算法在 UGrad 网络中成功识别出主导的‘宿舍’层和隐藏的‘年级’层，HICODE:Mod 在优化后 NMI 提升了 21%。
• HICODE 在多种数据集（包括合成网络和真实世界网络）中表现稳健，证实了隐性社区层的存在及其可检测性。