[论文解读] On Comparing and Enhancing Common Approaches to Network Community Detection

Niko Motschnig, Alexander Ramharter+3 more|arXiv (Cornell University)|Aug 30, 2021

Complex Network Analysis Techniques参考文献 21被引用 5

一句话总结

本文实现了四种常见的网络社区检测算法——凝聚层次聚类、Girvan-Newman、Fastgreedy 和 Louvain，并在实现层面进行了优化。引入了自邻居机制以提升聚类凝聚性，提出了一种确定性的更快的 Louvain 变体，其聚类更小且更均衡，同时对 Fastgreedy 算法优化了数据结构，所有方法均在标准数据集上进行了验证，并开放源代码以确保可复现性。

ABSTRACT

In this work, we explore four common algorithms for community detection in networks, namely Agglomerative Hierarchical Clustering, Divisive Hierarchical Clustering (Girvan-Newman), Fastgreedy and the Louvain Method. We investigate their mechanics and compare their differences in terms of implementation and results of the clustering behavior on a standard dataset. We further propose some enhancements to these algorithms that show promising results in our evaluations, such as self-neighboring for Neighbor Matrix constructions, a deterministic slightly faster version of the Louvain Method that favors less bigger clusters and various implementation changes to the Fastgreedy algorithm.

研究动机与目标

• 探究并比较四种广泛使用的社区检测算法（凝聚层次聚类、Girvan-Newman、Fastgreedy 和 Louvain）的技术实现方式与聚类行为。
• 识别现有算法在实现层面的低效与不一致之处，特别是在模块度计算与数据结构使用方面。
• 提出并评估针对性的改进措施，以提升运行时间、确定性与聚类质量，同时不改变核心算法范式。
• 通过发布全部源代码确保可复现性，使未来研究能够基于本工作的实现与发现进一步推进。
• 深入理解算法选择（如距离函数、联接准则与模块度公式）如何影响最终聚类结果。

提出的方法

• 从零开始实现所有四种算法，以支持对内部机制的直接比较与实验。
• 在凝聚层次聚类中引入自邻居机制，通过修改邻接矩阵构造方式，有效弥合聚类凝聚性中的间隙。
• 提出一种去除了合并步骤的确定性 Louvain 方法变体，优先生成更小、更均衡的聚类，从而提升速度与结果一致性。
• 利用压缩稀疏行（CSR）矩阵与最大堆优化 Fastgreedy 算法，实现高效的行切片与社区更新。
• 评估 Louvain 算法中不同模块度计算方法的差异，比较部分公式与完整公式的性能影响与模块度得分。
• 在 Karate Club 数据集上验证了 Meghanathan 的优化方案对 Girvan-Newman 算法的改进效果，确认其运行效率得到提升。

实验结果

研究问题

• RQ1 实现层面的选择（如距离函数、联接准则与模块度公式）如何影响社区检测算法的聚类行为与结果？
• RQ2 在凝聚层次聚类中引入自邻居机制，能否有效弥合标准邻接矩阵构造方式导致的聚类凝聚性间隙？
• RQ3 在 Louvain 方法中省略合并步骤的确定性变体，是否能实现更快、更一致的结果，同时保持或提升模块度？
• RQ4 通过使用 CSR 矩阵、最大堆、字典等数据结构优化，能在多大程度上提升 Fastgreedy 算法的性能，同时将内存使用控制在可接受范围内？
• RQ5 在 Louvain 算法中使用完整模块度公式与部分公式相比，其影响如何？省略合并步骤是否会导致无限循环或性能下降？

主要发现

• 自邻居机制显著提升了凝聚层次聚类中的聚类凝聚性，消除了标准邻接矩阵构造方式导致的聚类间隙。
• 确定性 Louvain 变体在 Karate Club 数据集上的平均运行时间降至 3.349ms（原版为 3.899ms），且在多次运行中结果完全一致，模块度得分为 0.37443。
• 在 Louvain 算法中省略合并步骤导致运行时间急剧上升（最高达 1966.91ms），且模块度得分降低，表明合并步骤对性能与结果质量至关重要。
• 在 Louvain 算法中使用完整模块度公式使运行时间从 3.899ms 增加至 440.799ms，表明部分公式对效率至关重要，尽管两者所得模块度得分相近。
• 采用 CSR 矩阵与最大堆优化的 Fastgreedy 实现版本性能优于原始版本，行操作更快且时间复杂度降低，但内存使用有所增加。
• 通过采用 Meghanathan 的改进方案，Girvan-Newman 算法的性能得到成功提升，证实其在大规模网络中实现更快边介数计算的可行性。