[论文解读] Stochastic Block Models and Reconstruction

Elchanan Mossel, Joe Neeman+1 more|arXiv (Cornell University)|Feb 7, 2012

Topological and Geometric Data Analysis参考文献 37被引用 142

一句话总结

该论文严格证明了当 $(a-b)^2 < 2(a+b)$ 时，在稀疏随机块模型中聚类是不可能的，验证了 Decelle 等人基于统计物理提出的猜想的一半。它建立了聚类、自旋玻璃模型与贝蒂格拉迪森上的重构之间的联系，并表明在此参数区域内参数估计同样不可能；而当 $(a-b)^2 > 2(a+b)$ 时，提供了高效的估计算法。

ABSTRACT

The planted partition model (also known as the stochastic blockmodel) is a classical cluster-exhibiting random graph model that has been extensively studied in statistics, physics, and computer science. In its simplest form, the planted partition model is a model for random graphs on $n$ nodes with two equal-sized clusters, with an between-class edge probability of $q$ and a within-class edge probability of $p$. Although most of the literature on this model has focused on the case of increasing degrees (ie.\ $pn, qn o \infty$ as $n o \infty$), the sparse case $p, q = O(1/n)$ is interesting both from a mathematical and an applied point of view. A striking conjecture of Decelle, Krzkala, Moore and Zdeborová based on deep, non-rigorous ideas from statistical physics gave a precise prediction for the algorithmic threshold of clustering in the sparse planted partition model. In particular, if $p = a/n$ and $q = b/n$, then Decelle et al.\ conjectured that it is possible to cluster in a way correlated with the true partition if $(a - b)^2 &gt; 2(a + b)$, and impossible if $(a - b)^2 &lt; 2(a + b)$. By comparison, the best-known rigorous result is that of Coja-Oghlan, who showed that clustering is possible if $(a - b)^2 &gt; C (a + b)$ for some sufficiently large $C$. We prove half of their prediction, showing that it is indeed impossible to cluster if $(a - b)^2 &lt; 2(a + b)$. Furthermore we show that it is impossible even to estimate the model parameters from the graph when $(a - b)^2 &lt; 2(a + b)$; on the other hand, we provide a simple and efficient algorithm for estimating $a$ and $b$ when $(a - b)^2 &gt; 2(a + b)$. Following Decelle et al, our work establishes a rigorous connection between the clustering problem, spin-glass models on the Bethe lattice and the so called reconstruction problem. This connection points to fascinating applications and open problems.

研究动机与目标

• 解决稀疏种植划分模型中的聚类算法阈值问题，其中边概率按 $a/n$ 和 $b/n$ 缩放。
• 严格验证 Decelle 等人提出的非严格统计物理猜想，即聚类仅在 $(a-b)^2 > 2(a+b)$ 时可能。
• 在稀疏区域内建立聚类、贝蒂格拉迪森上的重构以及自旋玻璃模型之间的联系。
• 确定在不同条件下是否能从图结构中估计出参数 $a$ 和 $b$。
• 当 $(a-b)^2 > 2(a+b)$ 时，提供一种简单且高效的算法用于估计 $a$ 和 $b$。

提出的方法

• 在贝蒂格拉迪森上使用重构问题框架，分析图结构向潜在社区标签的信息流动。
• 基于顶点到根的距离构造一个函数 $f$，其值与随深度增加的标签符号相关，以模拟信念传播。
• 通过比较 $Af$ 与 $f$ 的缩放版本，分析邻接矩阵 $A$ 的谱性质，表明当 $|\theta| > (d-1)^{-1/2}$ 时，$\|Af - \lambda f\|_2$ 相对于 $\|f\|_2$ 变得可忽略。
• 对距离根为 $r$ 的顶点的和进行递归分解，以计算 $Af(v) - \lambda f(v)$ 的方差，表明其随深度 $r$ 指数衰减。
• 应用集中不等式，表明 $\|f\|_2^2$ 随深度呈指数增长，而 $\|Af - \lambda f\|_2^2$ 增长更慢，意味着 $f$ 几乎是 $A$ 的特征向量。
• 利用若 $f$ 接近特征向量，则 $A$ 的主特征向量与真实社区标签相关这一事实，表明重构是可能的。

实验结果

研究问题

• RQ1 当 $(a-b)^2 < 2(a+b)$ 时，稀疏随机块模型中的聚类是否可能？
• RQ2 当 $(a-b)^2 < 2(a+b)$ 时，能否从图中估计模型参数 $a$ 和 $b$？
• RQ3 重构阈值 $(a-b)^2 = 2(a+b)$ 是否对应于信息论极限下的相变？
• RQ4 当 $(a-b)^2 > 2(a+b)$ 时，谱方法或信念传播算法能否实现聚类？
• RQ5 聚类问题、贝蒂格拉迪森上的自旋玻璃模型与重构问题之间的确切联系是什么？

主要发现

• 当 $(a-b)^2 < 2(a+b)$ 时，无法以与真实划分相关的方式实现聚类，验证了 Decelle 等人猜想中的不可能性部分。
• 当 $(a-b)^2 < 2(a+b)$ 时，即使近似地，也无法从图中估计参数 $a$ 和 $b$。
• 当 $(a-b)^2 > 2(a+b)$ 时，存在一种简单且高效的算法，可用于从图中估计 $a$ 和 $b$。
• 邻接矩阵 $A$ 的谱性质表明，当 $(a-b)^2 > 2(a+b)$ 时，主特征向量与真实社区结构相关。
• 分析证实了聚类问题与贝蒂格拉迪森上的重构问题之间存在深刻联系，将其与统计物理中的自旋玻璃模型联系起来。
• 阈值 $(a-b)^2 = 2(a+b)$ 标志着聚类与参数估计在信息论可行性上的显著相变。