[论文解读] Multiresolution Consensus Clustering in Networks

Lucas G. S. Jeub, Olaf Sporns+1 more|arXiv (Cornell University)|Oct 6, 2017

Complex Network Analysis Techniques参考文献 40被引用 10

一句话总结

本文提出了一种多分辨率共识聚类框架，结合多分辨率模块度优化与分层共识聚类过程，以在不同尺度下识别网络中的社区结构。通过使用基于集成划分的显著性零模型，该方法避免了任意阈值的设定，并递归构建具有统计意义的社区层次结构，相较于单一划分解决方案，显著提升了鲁棒性与可解释性。

ABSTRACT

Networks often exhibit structure at disparate scales. We propose a method for identifying community structure at different scales based on multiresolution modularity and consensus clustering. Our contribution consists of two parts. First, we propose a strategy for sampling the entire range of possible resolutions for the multiresolution modularity quality function. Our approach is directly based on the properties of modularity and, in particular, provides a natural way of avoiding the need to increase the resolution parameter by several orders of magnitude to break a few remaining small communities, necessitating the introduction of ad-hoc limits to the resolution range with standard sampling approaches. Second, we propose a hierarchical consensus clustering procedure, based on a modified modularity, that allows one to construct a hierarchical consensus structure given a set of input partitions. While here we are interested in its application to partitions sampled using multiresolution modularity, this consensus clustering procedure can be applied to the output of any clustering algorithm. As such, we see many potential applications of the individual parts of our multiresolution consensus clustering procedure in addition to using the procedure itself to identify hierarchical structure in networks.

研究动机与目标

• 解决在传统方法因分辨率限制而难以在多尺度下识别网络社区结构的挑战。
• 通过利用共识聚类提取稳健且具有代表性的划分，克服随机社区检测算法的不稳定性与变异性。
• 开发一种分层共识过程，递归识别显著子结构，而无需依赖任意阈值或排序步骤。
• 提供一种可扩展且具有统计原理基础的方法，用于从多分辨率模块度划分中构建分层社区结构。
• 使共识聚类的应用超越模块度，适用于任何聚类算法的输出。

提出的方法

• 提出一种多分辨率采样策略，系统性地探索模块度优化中所有分辨率参数的范围，避免对临时参数边界的需求。
• 该方法使用一种改进的模块度函数，其零模型基于输入划分的集成，以评估共分类的统计显著性。
• 引入一种分层共识（HC）过程，递归地在每一层的聚类上应用共识聚类，当不再发现显著子聚类时停止。
• 共分类矩阵通过 $ C = \frac{1}{l} G G^T $ 计算，其中 $ G $ 为稀疏的节点-聚类邻接矩阵，用于表示集成中的共现频率。
• 采用类似Louvain的算法并结合加权随机移动来优化共识模块度，计算复杂度为 $ O(lm) $，其中 $ m $ 为共识矩阵中非零项的数量。
• 使用调整兰多互信息（AMI）评估划分相似性，通过置换模型下的期望值校正偶然一致性。

实验结果

研究问题

• RQ1 如何在不依赖临时参数边界的情况下，系统性地采样所有相关分辨率尺度下的多分辨率模块度？
• RQ2 如何从一组社区划分的集成中构建具有统计显著性的共识划分，以减少噪声并提升鲁棒性？
• RQ3 能否以一种可解释且无需任意阈值的方式，从多分辨率划分中提取分层社区结构？
• RQ4 在具有预设分层结构的网络中，所提出的分层共识过程与现有方法相比，在准确性和计算效率方面表现如何？
• RQ5 与随机或固定阈值方法相比，基于集成的零模型在检测有意义社区结构方面有多大程度的改进？

主要发现

• 所提出的多分辨率采样策略实现了对分辨率参数空间的完整覆盖，无需在分辨率上进行大幅跳跃，避免了人为设定边界的需要。
• 共识聚类步骤中基于显著性的零模型可防止在随机网络中识别出虚假社区，确保仅保留具有统计意义的分组。
• 分层共识过程成功恢复了合成基准网络中的预设分层结构，优于依赖排序或固定阈值的方法。
• 由于基于统计显著性的递归停止准则，该方法生成的分层聚类树比其他方法更简洁、更具可解释性。
• 计算复杂度为 $ O(lm) $，内存使用主要由密集的共分类矩阵主导，因此在实际应用中可扩展性受限于内存而非计算。
• 使用调整兰多互信息（AMI）进行评估表明，即使单次运行因随机性而存在差异，该方法生成的划分仍比单个运行更接近真实标签。