[论文解读] Stochastic Block Model and Community Detection in the Sparse Graphs: A spectral algorithm with optimal rate of recovery

Peter Chin, Anup Rao+1 more|arXiv (Cornell University)|Jan 20, 2015

Complex Network Analysis Techniques参考文献 25被引用 94

一句话总结

本文提出了一种针对具有 $k$ 个社区的稀疏随机块模型的简单谱算法，实现了最优恢复率。证明了在条件 $(a-b)^2/(a+b) \geq C \log(1/\gamma)$ 下，该算法以高概率实现 $\gamma$-正确划分，从而解决了稀疏图最优恢复阈值的开放问题。

ABSTRACT

In this paper, we present and analyze a simple and robust spectral algorithm for the stochastic block model with $k$ blocks, for any $k$ fixed. Our algorithm works with graphs having constant edge density, under an optimal condition on the gap between the density inside a block and the density between the blocks. As a co-product, we settle an open question posed by Abbe et. al. concerning censor block models.

研究动机与目标

• 为具有 $k$ 个社区的稀疏随机块模型开发一种简单且鲁棒的谱社区检测算法。
• 建立稀疏图中社区检测的最优恢复阈值，其中边概率为常数。
• 解决关于随机块模型中 $\gamma$-正确恢复所需最小条件的开放问题。
• 将分析扩展至具有可能不等社区大小的一般 $k$-社区模型。
• 证明所推导的条件在常数因子范围内是紧的，与极小化最大下界一致。

提出的方法

• 该算法在随机图的邻接矩阵上应用谱聚类，利用对应于最大特征值的特征向量来恢复社区结构。
• 对主特征向量应用阈值化和舍入过程，将节点分配至社区。
• 分析依赖于具有块结构的随机矩阵的集中不等式和谱范数界。
• 证明将分析划分为基于节点度数和特征值衰减的若干情形，以控制误差项。
• 仔细追踪常数，并应用几何级数界来控制节点对上的和。
• 该方法对社区大小不平衡具有鲁棒性，并可通过小幅修改自然推广至不等社区大小。

实验结果

研究问题

• RQ1 在稀疏随机块模型中，使 $\gamma$-正确社区恢复成为可能的社区内与社区间边概率差异的最小条件是什么？
• RQ2 是否一种简单的谱算法可在不需对 $a$ 和 $b$ 施加强假设的情况下实现最优恢复率？
• RQ3 恢复阈值中的 $\log(1/\gamma)$ 依赖是否紧致，或可进一步改进？
• RQ4 在固定 $k$ 的一般 $k$-社区设置下，该算法表现如何？
• RQ5 该算法能否在保持最优恢复保证的同时处理不等社区大小？

主要发现

• 对于 $k=2$，当 $(a-b)^2/(a+b) \geq C \log(1/\gamma)$ 时，谱算法以高概率实现 $\gamma$-正确恢复，与猜想的最优阈值一致。
• 该算法简单、鲁棒，且可在多项式时间内运行，优于以往复杂的算法。
• 对于一般 $k$ 个社区，条件 $(a-b)^2 \geq C_2 k^2 a \log(1/\gamma)$ 确保以高概率实现 $\gamma$-正确恢复。
• 结果在常数因子范围内是紧的，因为极小化最大下界表明 $\Omega(k^2 a)$ 的缩放是必要的。
• 只要社区大小可比，该方法可推广至不等社区大小，常数依赖于最小大小比。
• 本文解决了 Abbe 等人关于删减块模型的开放问题，确认了 $\log(1/\gamma)$ 项的最优性。