[论文解读] Spectral clustering under degree heterogeneity: a case for the random walk Laplacian

Alexander Modell, Patrick Rubin‐Delanchy|arXiv (Cornell University)|May 3, 2021

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文主张在谱聚类中使用随机游走拉普拉斯矩阵，以内在地校正网络中的度异质性。证明了由此产生的嵌入能一致地估计度校正后的潜在位置，从而在无需球面投影的情况下实现渐近完美的社区恢复，并提出了一种加权高斯混合模型以实现最优聚类。

ABSTRACT

This paper shows that graph spectral embedding using the random walk Laplacian produces vector representations which are completely corrected for node degree. Under a generalised random dot product graph, the embedding provides uniformly consistent estimates of degree-corrected latent positions, with asymptotically Gaussian error. In the special case of a degree-corrected stochastic block model, the embedding concentrates about K distinct points, representing communities. These can be recovered perfectly, asymptotically, through a subsequent clustering step, without spherical projection, as commonly required by algorithms based on the adjacency or normalised, symmetric Laplacian matrices. While the estimand does not depend on degree, the asymptotic variance of its estimate does -- higher degree nodes are embedded more accurately than lower degree nodes. Our central limit theorem therefore suggests fitting a weighted Gaussian mixture model as the subsequent clustering step, for which we provide an expectation-maximisation algorithm.

研究动机与目标

• 为基于随机游走拉普拉斯矩阵的谱嵌入提供一个原则性的统计解释。
• 解决标准谱聚类方法在处理度异质性方面的局限性，特别是在度校正随机块模型等模型中。
• 证明随机游走拉普拉斯矩阵产生的嵌入能内在地校正节点度，从而消除对球面投影的需求。
• 开发一种理论基础坚实的聚类方法，以考虑节点度对渐近方差的依赖性。
• 证明通过所提出的嵌入和加权高斯混合模型，可在渐近意义上实现完美的社区恢复。

提出的方法

• 使用随机游走拉普拉斯矩阵作为谱嵌入的输入，替代邻接矩阵或对称拉普拉斯矩阵。
• 在广义随机点积图模型下分析嵌入，其中节点潜在位置按节点特定权重缩放。
• 在模型下建立对度校正潜在位置的嵌入的统一一致性。
• 推导出中心极限定理，表明估计误差的渐近分布为高斯分布，其方差依赖于节点度。
• 提出一种加权高斯混合模型用于聚类，其中权重与每个节点嵌入的渐近方差成反比。
• 提供一种期望最大化算法以拟合加权高斯混合模型，从而在聚类精度上优于标准方法。

实验结果

研究问题

• RQ1 与使用邻接矩阵或对称拉普拉斯矩阵的谱嵌入相比，使用随机游走拉普拉斯矩阵的谱嵌入在度校正方面表现如何？
• RQ2 随机游走拉普拉斯矩阵是否能在广义随机点积图模型中一致地估计度校正后的潜在位置？
• RQ3 在度校正随机块模型中，该嵌入是否能在无需球面投影的情况下实现渐近完美的社区恢复？
• RQ4 嵌入估计的渐近方差如何依赖于节点度，是否可利用此特性提升聚类性能？
• RQ5 与标准聚类方法相比，基于渐近方差推导出权重的加权高斯混合模型在从随机游走拉普拉斯矩阵嵌入中恢复社区方面是否更优？

主要发现

• 使用随机游走拉普拉斯矩阵的谱嵌入在广义随机点积图模型中，能对度校正后的潜在位置实现统一一致的估计。
• 嵌入误差的渐近分布为高斯分布，其方差随节点度降低而增大，意味着高阶节点被更精确地嵌入。
• 在度校正随机块模型中，嵌入会集中在对应于社区的K个不同点附近，从而在无需球面投影的情况下实现渐近完美的社区恢复。
• 所提出的方法在性能上优于球面LSE，在大规模网络和密集区域中与球面ASE具有竞争力。
• 使用基于渐近方差推导出权重的加权高斯混合模型，相比无权重的替代方法，能显著提升聚类性能。
• 在《哈利·波特》敌意网络的实证结果表明，一维随机游走嵌入中社区分离清晰，Snape和Black等异常值能根据其叙事角色被正确地定位。