[论文解读] Phase Transitions and a Model Order Selection Criterion for Spectral Graph Clustering

Pin‐Yu Chen, Alfred O. Hero|arXiv (Cornell University)|Apr 11, 2016

Complex Network Analysis Techniques参考文献 51被引用 12

一句话总结

本文提出自动化模型阶数选择（AMOS），一种新颖的标准，通过随机互连模型（RIM）下的相变分析，用于在谱图聚类中选择聚类数量。通过识别聚类间连接概率的临界阈值 $p^*$，AMOS 确保在聚类间连接低于该阈值时实现可靠聚类，从而能够准确检测对称非负矩阵中的隐藏块结构，并在真实网络中优于现有方法。

ABSTRACT

One of the longstanding open problems in spectral graph clustering (SGC) is the so-called model order selection problem: automated selection of the correct number of clusters. This is equivalent to the problem of finding the number of connected components or communities in an undirected graph. We propose automated model order selection (AMOS), a solution to the SGC model selection problem under a random interconnection model (RIM) using a novel selection criterion that is based on an asymptotic phase transition analysis. AMOS can more generally be applied to discovering hidden block diagonal structure in symmetric non-negative matrices. Numerical experiments on simulated graphs validate the phase transition analysis, and real-world network data is used to validate the performance of the proposed model selection procedure.

研究动机与目标

• 解决谱图聚类中长期存在的模型阶数选择问题——自动确定正确的聚类数量。
• 基于聚类间连通性，建立谱聚类成功或失败的理论条件。
• 开发一种实用的自动化方法（AMOS），利用相变阈值选择可靠的聚类数量。
• 在具有真实社区或地理结构的合成图和真实世界网络上验证该方法。
• 将相变分析从无权图扩展到加权图，并应用于非均匀 RIM。

提出的方法

• 提出随机互连模型（RIM），其中类内连接为任意，类间边为随机，从而实现对谱聚类性能的理论分析。
• 通过 RIM 下图拉普拉斯矩阵特征谱的渐近分析，推导谱聚类的崩溃条件。
• 识别出一个临界相变阈值 $p^*$，使得当聚类间连接概率 $p < p^*$ 时谱聚类成功，而当 $p > p^*$ 时失败。
• 开发 AMOS 作为顺序模型阶数选择算法，通过二项同质性检验和相变阈值检测局部与全局 RIM 结构。
• 利用 Davis-Kahan $\sin\theta$ 定理界定向量扰动，并推导拉普拉斯特征空间的收敛条件。
• 将该方法应用于对称非负矩阵，以检测隐藏的块对角结构，实现对图的推广。

实验结果

研究问题

• RQ1 在 RIM 下，当聚类间连接概率超过何种临界阈值 $p^*$ 时，谱聚类将无法恢复真实聚类？
• RQ2 在加权图中，谱聚类的相变行为如何依赖于聚类大小分布和聚类间边权重？
• RQ3 能否利用相变分析构建一种可靠且自动化的标准，用于选择谱图聚类中的聚类数量？
• RQ4 AMOS 算法如何确保所选模型阶数对应于可靠的聚类解？
• RQ5 与现有方法相比，AMOS 在具有已知社区或地理结构的真实世界网络中，聚类准确率提升程度如何？

主要发现

• 在同质 RIM 下，存在一个临界相变阈值 $p^*$，使得当 $p < p^*$ 时谱聚类能完美检测聚类，而当 $p > p^*$ 时失败。
• 下界为 $p_{\text{LB}} = \frac{c^*}{(K-1)\rho_{\max}}$，上界为 $p_{\text{UB}} = \frac{c^*}{(K-1)\rho_{\min}}$，其中 $c^*$ 为拉普拉斯矩阵渐近归一化迹。
• AMOS 通过检测 RIM 结构并检查估计的聚类间概率是否超过 $p^*$，成功识别出模拟图中的正确聚类数。
• 在真实网络（如互联网骨干网和明尼苏达州公路地图）中，AMOS 生成的聚类比基线方法更符合地理和已知社区结构。
• 该方法通过拒绝聚类间连接超过相变阈值的模型阶数，提高了聚类可靠性，确保仅选择稳定解。
• 数值实验证实，相变分析能准确预测各种网络模型和权重分布下的谱聚类性能。