[论文解读] Revisiting the Bethe-Hessian: Improved Community Detection in Sparse Heterogeneous Graphs

Lorenzo Dall’Amico, Romain Couillet+1 more|arXiv (Cornell University)|Jan 25, 2019

Complex Network Analysis Techniques参考文献 36被引用 14

一句话总结

该论文提出了一种改进的谱社区检测算法，采用重新参数化的Bethe-Hessian矩阵 $ H_\zeta $，其中 $ \zeta $ 是一个具有理论依据的参数，可消除稀疏网络中度异质性带来的敏感性。该方法在度校正随机块模型（DC-SBM）中可实现最优聚类性能，直至可检测性阈值，优于原始的 $ H_{\sqrt{c\Phi}} $ 和标准谱方法，在合成网络与真实网络上均表现更优。

ABSTRACT

Spectral clustering is one of the most popular, yet still incompletely understood, methods for community detection on graphs. This article studies spectral clustering based on the Bethe-Hessian matrix $H_r = (r^2-1)I_n + D-rA$ for sparse heterogeneous graphs (following the degree-corrected stochastic block model) in a two-class setting. For a specific value $r = ζ$, clustering is shown to be insensitive to the degree heterogeneity. We then study the behavior of the informative eigenvector of $H_ζ$ and, as a result, predict the clustering accuracy. The article concludes with an overview of the generalization to more than two classes along with extensive simulations on synthetic and real networks corroborating our findings.

研究动机与目标

• 解决标准谱聚类方法以及原始Bethe-Hessian矩阵 $ H_{\sqrt{c\Phi}} $ 在具有度异质性的稀疏、异质网络中性能不佳的问题。
• 识别Bethe-Hessian矩阵 $ H_r $ 中理论上最优的参数 $ r = \zeta $，使聚类对节点度变化不敏感。
• 基于 $ H_\zeta $ 开发一种鲁棒的谱算法，实现在DC-SBM中可达到理论可检测性阈值的准确社区检测。
• 将该方法推广至多类社区检测，并一致估计社区数量 $ k $。
• 在合成网络与真实网络上验证该方法，证明其在性能上持续优于现有方法。

提出的方法

• 为Bethe-Hessian矩阵 $ H_r = (r^2 - 1)I_n + D - rA $ 提出一个新参数 $ \zeta $，其来源于对DC-SBM下信息性特征向量行为的理论分析。
• 使用非回溯矩阵 $ B $ 作为理论指导，以无监督方式估计 $ \zeta $，从而在无需事先知晓网络参数的情况下应用该方法。
• 对 $ H_\zeta $ 的主导特征向量应用k-means聚类以恢复社区标签，其中 $ \zeta $ 根据每个类别的特征值间隙进行估计。
• 将社区数量 $ \hat{k} $ 估计为 $ H_{\sqrt{c\Phi}} $ 的负特征值数量，利用原始Bethe-Hessian矩阵的谱特性。
• 通过依次估计每个 $ p $-阶特征向量的 $ \zeta_p $，实现算法的多类扩展，以提取 $ k $-类结构。
• 基于条件 $ \nu_p(r) = 0 $（其中 $ \nu_p(r) $ 是 $ H_r $ 的第 $ p $ 个特征值）建立 $ \zeta $ 的一致估计程序，确保对度异质性的鲁棒性。

实验结果

研究问题

• RQ1 在DC-SBM下，Bethe-Hessian矩阵 $ H_r $ 中的 $ r $ 取何值可使聚类对稀疏、异质网络中的度异质性不敏感？
• RQ2 在DC-SBM下，$ H_r $ 的信息性特征向量行为如何？其结构能否用于预测聚类准确性？
• RQ3 能否通过重新参数化的Bethe-Hessian矩阵可靠地达到稀疏、异质网络中的可检测性阈值？
• RQ4 如何利用与非回溯矩阵 $ B $ 的关联，无监督地估计 $ \zeta $？
• RQ5 所提出的算法在未知 $ k $ 的情况下，对多类社区检测的推广程度如何？

主要发现

• 所提出的 $ H_\zeta $ 矩阵在DC-SBM下稀疏、异质网络中可实现接近理论可检测性阈值的最优聚类性能。
• 在空手道网络上，算法1的模块度 $ \mathcal{M} = 1.00 $，与真实标签完全匹配，而 $ H_{\sqrt{c\Phi}} $ 和 $ A $ 均未能恢复真实分区。
• 在Facebook网络上，算法1的模块度 $ \mathcal{M} = 0.77 $，显著优于 $ H_{\sqrt{c\Phi}} $（$ \mathcal{M} = 0.48 $）和 $ A $（$ \mathcal{M} = 0.38 $）。
• 在电网网络上，算法1的模块度 $ \mathcal{M} = 0.92 $，而 $ H_{\sqrt{c\Phi}} $ 仅达到 $ \mathcal{M} = 0.61 $，表明其对度异质性的强鲁棒性。
• $ H_\zeta $ 的信息性特征向量即使在高度度异质性下仍保持稳定且高度局域化，而 $ H_{\sqrt{c\Phi}} $ 则严重受度效应影响而失真。
• 模拟结果证实，$ H_\zeta $ 保持清晰的谱间隙和主导特征向量结构，即使在检测难度较高的区域也能实现准确的k-means聚类。