[论文解读] Spectral Clustering of Graphs with the Bethe Hessian

Alaa Saade, Florent Krząkała+1 more|arXiv (Cornell University)|Jun 7, 2014

Complex Network Analysis Techniques被引用 31

一句话总结

本文提出使用贝斯赫essian矩阵——一种对称、实数且计算高效的矩阵——作为谱聚类工具，在稀疏随机块模型中实现最优社区检测，达到可检测性的理论极限。该方法优于标准谱聚类，且在保持对称性的同时，计算成本更低，性能与非回溯算子相当或更优。

ABSTRACT

Spectral clustering is a standard approach to label nodes on a graph by studying the (largest or lowest) eigenvalues of a symmetric real matrix such as e.g. the adjacency or the Laplacian. Recently, it has been argued that using instead a more complicated, non-symmetric and higher dimensional operator, related to the non-backtracking walk on the graph, leads to improved performance in detecting clusters, and even to optimal performance for the stochastic block model. Here, we propose to use instead a simpler object, a symmetric real matrix known as the Bethe Hessian operator, or deformed Laplacian. We show that this approach combines the performances of the non-backtracking operator, thus detecting clusters all the way down to the theoretical limit in the stochastic block model, with the computational, theoretical and memory advantages of real symmetric matrices.

研究动机与目标

• 开发一种非参数化、计算高效的谱聚类方法，使其在随机块模型中表现最优。
• 克服标准谱聚类在稀疏图上的局限性，后者即使在存在最优算法时也常无法检测到社区。
• 结合非回溯算子的性能与对称矩阵在计算和理论上的优势。
• 通过负特征值计数实现社区数的自动检测，无需预先知晓模型参数。

提出的方法

• 贝斯赫essian矩阵定义为 $ H(r) = (r^2 - 1)\mathbf{1} - rA + D $，其中 $ r > 1 $，$ A $ 为邻接矩阵，$ D $ 为度矩阵。
• 该方法利用 $ H(r) $ 的最小（最负）特征值对应的特征向量对节点进行标签分配，利用矩阵的谱性质。
• 通过调节正则化参数 $ r $ 以最大化谱间隙，确保聚类间清晰分离。
• 通过计数 $ H(r) $ 的负特征值数量来估计社区数，实现无需参数预设的自动聚类检测。
• 该方法可推广至加权图和真实网络，且保持可扩展性，而这是非回溯算子所不具备的。
• 理论分析将贝斯赫essian矩阵的谱与非回溯矩阵的谱联系起来，证明其在随机块模型中具有最优可检测性。

实验结果

研究问题

• RQ1 能否使用对称、实数矩阵在稀疏随机块模型中实现最优社区检测？
• RQ2 贝斯赫essian矩阵在准确性和计算效率方面是否优于标准谱聚类和非回溯谱聚类？
• RQ3 能否仅通过贝斯赫essian矩阵的谱特性自动推断社区数量，而无需预先知晓模型参数？
• RQ4 在不严格遵循随机块模型的真实网络中，贝斯赫essian矩阵表现如何？
• RQ5 贝斯赫essian矩阵能否为模ularity最大化等NP难优化问题提供通用的谱松弛方法？

主要发现

• 贝斯赫essian矩阵在随机块模型中可检测到理论极限 $ |c_{\text{in}} - c_{\text{out}}| > q\sqrt{c} $，与使用已知参数的信念传播算法性能一致。
• 在两社区随机块模型中，贝斯赫essian矩阵在Polblogs网络上的重叠度达0.865794，与非回溯算子相当或略优。
• 在Dolphins网络中，贝斯赫essian矩阵的重叠度为0.806452，显著优于非回溯算子的0.741935。
• 该方法通过负特征值计数在所有测试的真实网络中正确识别了社区数量，无需参数调优。
• 在Adjnoun网络中，贝斯赫essian矩阵的重叠度为0.660714，优于非回溯算子的0.625000；在Football和Karate网络中表现相当。
• 该方法可扩展至加权图，并推广至其他谱聚类问题，为NP难目标提供通用的谱松弛方法。