[论文解读] Recovering a Hidden Community Beyond the Kesten-Stigum Threshold in $O(|E| \log^*|V|)$ Time

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 9, 2015

Age of Information Optimization参考文献 51被引用 5

一句话总结

该论文提出了一种信念传播（BP）算法，在随机块模型中可超越Kesten-Stigum阈值恢复隐藏社区，当信噪比 $\lambda > 1/e$ 时实现弱恢复，运行时间为 $O(|E|\log^*|V|)$。该算法在 $\log^* n + O(1)$ 次迭代内完成，信息论上最优，因为当 $\lambda \leq 1/e$ 时，任何局部算法都无法优于随机猜测。该BP算法还可与投票程序结合，实现 $K \geq \frac{n}{\log n}(\rho_{\rm BP} + o(1))$ 时的信息极限下的精确恢复。

ABSTRACT

Community detection is considered for a stochastic block model graph of n vertices, with K vertices in the planted community, edge probability p for pairs of vertices both in the community, and edge probability q for other pairs of vertices. The main focus of the paper is on weak recovery of the community based on the graph G, with o(K) misclassified vertices on average, in the sublinear regime $n^{1-o(1)} \leq K \leq o(n).$ A critical parameter is the effective signal-to-noise ratio $λ=K^2(p-q)^2/((n-K)q)$, with $λ=1$ corresponding to the Kesten-Stigum threshold. We show that a belief propagation algorithm achieves weak recovery if $λ>1/e$, beyond the Kesten-Stigum threshold by a factor of $1/e.$ The belief propagation algorithm only needs to run for $\log^\ast n+O(1) $ iterations, with the total time complexity $O(|E| \log^*n)$, where $\log^*n$ is the iterated logarithm of $n.$ Conversely, if $λ\leq 1/e$, no local algorithm can asymptotically outperform trivial random guessing. Furthermore, a linear message-passing algorithm that corresponds to applying power iteration to the non-backtracking matrix of the graph is shown to attain weak recovery if and only if $λ>1$. In addition, the belief propagation algorithm can be combined with a linear-time voting procedure to achieve the information limit of exact recovery (correctly classify all vertices with high probability) for all $K \ge \frac{n}{\log n} \left( ρ_{ m BP} +o(1) ight),$ where $ρ_{ m BP}$ is a function of $p/q$.

研究动机与目标

• 解决隐藏社区在子线性规模 $K = n^{1-o(1)}$ 下的弱恢复与精确恢复的基本计算与统计极限。
• 通过设计一种在Kesten-Stigum阈值之外运行的高效算法，克服检测小社区的计算障碍。
• 为精确恢复建立紧致的信息论极限，并证明信念传播在结合投票程序后可达到这些极限。
• 刻画局部算法失效的阈值，表明当 $\lambda \leq 1/e$ 时，任何局部算法都无法优于随机猜测。
• 分析信念传播的收敛性与复杂度，证明仅需 $\log^* n + O(1)$ 次迭代即可实现弱恢复。

提出的方法

• 在大小为 $K$ 的植根社区的随机块模型上应用信念传播算法，通过图上的消息传递来估计顶点成员身份。
• 基于邻域统计信息，使用递归规则迭代更新消息，每个顶点通过减去目标邻居的贡献来计算传出消息。
• 算法在 $\log^* n + O(1)$ 次迭代后终止，确保总时间复杂度为 $O(|E|\log^*|V|)$，其中 $|E|$ 为边数。
• 将线性时间投票程序与BP输出结合，通过解决冲突并强制满足正确的社区大小 $K$，实现精确恢复。
• 使用树耦合技术分析BP算法，通过将局部邻域结构近似为Galton-Watson树，实现对错误概率的分析。
• 利用非回溯矩阵推导弱恢复的谱条件，表明基于该矩阵的幂迭代算法在且仅在 $\lambda > 1$ 时可恢复社区。
• 关键参数为信噪比 $\lambda = \frac{K^2(p-q)^2}{(n-K)q}$，其决定了恢复性能的阈值。
• 在随机抽样假设下，应用集中不等式与Hoeffding界来控制社区大小与错误概率的偏差。

实验结果

研究问题

• RQ1 信念传播能否在子线性规模 $K = n^{1-o(1)}$ 下超越Kesten-Stigum阈值实现隐藏社区的弱恢复？
• RQ2 任何局部算法在社区恢复中优于随机猜测所需的最小信噪比 $\lambda$ 是多少？
• RQ3 信念传播在结合投票程序后是否可实现精确恢复的信息论极限？
• RQ4 信念传播的运行时间能否以迭代对数 $\log^* n$ 为界？
• RQ5 基于非回溯矩阵的谱方法是否存在 $\lambda = 1$ 的精确阈值？

主要发现

• 信念传播在且仅在 $\lambda > 1/e$ 时实现弱恢复，相比Kesten-Stigum阈值 $\lambda = 1$ 提升了 $1/e$ 的因子。
• 信念传播算法的运行时间为 $O(|E|\log^*|V|)$，且仅需 $\log^* n + O(1)$ 次迭代即可收敛。
• 当 $\lambda \leq 1/e$ 时，任何局部算法都无法实现弱恢复，确立了根本性的计算障碍。
• 基于非回溯矩阵的幂迭代算法在且仅在 $\lambda > 1$ 时实现弱恢复，表明谱方法存在精确阈值。
• 将信念传播与线性时间投票程序结合，可在所有 $K \geq \frac{n}{\log n}(\rho_{\rm BP} + o(1))$ 下实现精确恢复，其中 $\rho_{\rm BP}$ 依赖于 $p/q$，与信息论极限一致。
• 通过树耦合推导出信念传播的误差界，表明当 $\lambda > 1/e$ 时，误分类顶点的期望数量为 $o(K)$，高概率成立。