[论文解读] Multisection in the Stochastic Block Model using Semidefinite Programming

Naman Agarwal, Afonso S. Bandeira+2 more|arXiv (Cornell University)|Jul 8, 2015

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出了一种基于半定规划（SDP）的算法，用于在具有 $k$ 个社区的随机块模型（SBM）中实现精确社区恢复。当 $k = o(\log n)$ 时，该算法在 $\sqrt{\alpha} - \sqrt{\beta} > 1$ 条件下以高概率实现精确恢复，匹配信息论下限，从而在该参数范围内证明了最优性。

ABSTRACT

We consider the problem of identifying underlying community-like structures in graphs. Towards this end we study the Stochastic Block Model (SBM) on $k$-clusters: a random model on $n=km$ vertices, partitioned in $k$ equal sized clusters, with edges sampled independently across clusters with probability $q$ and within clusters with probability $p$, $p>q$. The goal is to recover the initial "hidden" partition of $[n]$. We study semidefinite programming (SDP) based algorithms in this context. In the regime $p = \frac{α\log(m)}{m}$ and $q = \frac{β\log(m)}{m}$ we show that a certain natural SDP based algorithm solves the problem of {\em exact recovery} in the $k$-community SBM, with high probability, whenever $\sqrtα - \sqrtβ > \sqrt{1}$, as long as $k=o(\log n)$. This threshold is known to be the information theoretically optimal. We also study the case when $k=θ(\log(n))$. In this case however we achieve recovery guarantees that no longer match the optimal condition $\sqrtα - \sqrtβ > \sqrt{1}$, thus leaving achieving optimality for this range an open question.

研究动机与目标

• 开发一种计算高效的算法，用于在具有 $k$ 个大小相等簇的随机块模型（SBM）中实现社区结构的精确恢复。
• 确定在 $k$-社区模型下，精确恢复的信息论极限与计算极限。
• 分析特定半定规划（SDP）松弛方法在不同 $p$ 和 $q$ 边概率下的隐藏划分恢复性能。
• 在 $k = o(\log n)$ 时，建立基于 SDP 的恢复阈值的最优性，使其与信息论下限一致。
• 研究当 $k = \Theta(\log n)$ 时，信息论极限与计算可行性之间的性能差距。

提出的方法

• 本文采用最大似然估计问题在 SBM 中的半定规划（SDP）松弛方法，用于社区检测。
• 通过构造对偶证书，证明在 $\sqrt{\alpha} - \sqrt{\beta} > 1$ 条件下，真实划分是 SDP 的唯一最优解。
• 分析中使用了集中不等式，包括切尔诺夫与霍夫丁不等式，以控制随机图中边数偏离其期望值的偏差。
• 该方法依赖谱范数界与矩阵扰动理论，证明最优 SDP 解在高概率下接近真实簇矩阵。
• 对于单调对抗模型，本文证明 SDP 解在边增减下保持稳定，从而维持精确恢复。
• 通过概率方法与矩阵分析推导理论保证，尤其关注邻接矩阵及其与期望块结构偏差的行为。

实验结果

研究问题

• RQ1 当 $k = o(\log n)$ 时，基于 SDP 的算法是否能在 $k$-社区随机块模型中实现精确恢复？
• RQ2 阈值 $\sqrt{\alpha} - \sqrt{\beta} > 1$ 是否在信息论上为必要且在计算上为充分，以实现 $k$-SBM 中的精确恢复？
• RQ3 当 $k = \Theta(\log n)$ 时，恢复性能如何变化？SDP 方法是否仍能达到信息论下限？
• RQ4 SDP 解对对抗性边修改（如边的增加与删除）是否具有鲁棒性？
• RQ5 对偶证书方法是否可用于证明 $k$-SBM 中 SDP 恢复阈值的最优性？

主要发现

• 当 $k = o(\log n)$ 时，只要 $\sqrt{\alpha} - \sqrt{\beta} > 1$，基于 SDP 的算法以高概率实现精确恢复，且与信息论阈值一致。
• 阈值 $\sqrt{\alpha} - \sqrt{\beta} > 1$ 被证明为最优，因其标志着精确恢复从不可能到可能的尖锐转变点。
• 当 $k = \Theta(\log n)$ 时，SDP 方法不再达到信息论下限，表明在此参数范围内计算极限与信息论极限之间存在差距。
• 在给定条件下，最优 SDP 解是唯一的，且以高概率精确对应于隐藏划分。
• 该方法对可单调对抗者（可增加或删除边）具有鲁棒性，因 SDP 解在这些扰动下保持稳定，从而维持精确恢复。
• 偏差矩阵 $H^*$ 的谱范数被证明为 $O(\delta_{\text{max}})$，且集中不等式表明 $\|H^*\| \leq \sqrt{n}$，支持对偶证书的有效性。