[论文解读] Spectral Thresholds in the Bipartite Stochastic Block Model

Laura Florescu, Will Perkins|arXiv (Cornell University)|Jun 22, 2015

Random Matrices and Applications参考文献 25被引用 24

一句话总结

本文分析了具有高度不平衡分区的二部随机块模型，识别出检测的精确阈值，并证明了标准谱方法因奇异向量局域化而失效。本文提出了一种改进的谱算法——对角删除SVD，该算法在接近最优的边密度下恢复了植入的分区，在与随机超图和k-SAT问题相关的稀疏区域中显著提升了性能。

ABSTRACT

We consider a bipartite stochastic block model on vertex sets $V_1$ and $V_2$, with planted partitions in each, and ask at what densities efficient algorithms can recover the partition of the smaller vertex set. When $|V_2| \gg |V_1|$, multiple thresholds emerge. We first locate a sharp threshold for detection of the partition, in the sense of the results of \cite{mossel2012stochastic,mossel2013proof} and \cite{massoulie2014community} for the stochastic block model. We then show that at a higher edge density, the singular vectors of the rectangular biadjacency matrix exhibit a localization / delocalization phase transition, giving recovery above the threshold and no recovery below. Nevertheless, we propose a simple spectral algorithm, Diagonal Deletion SVD, which recovers the partition at a nearly optimal edge density. The bipartite stochastic block model studied here was used by \cite{feldman2014algorithm} to give a unified algorithm for recovering planted partitions and assignments in random hypergraphs and random $k$-SAT formulae respectively. Our results give the best known bounds for the clause density at which solutions can be found efficiently in these models as well as showing a barrier to further improvement via this reduction to the bipartite block model.

研究动机与目标

• 确定在高度不平衡的顶点集下，二部随机块模型中植入分区检测的精确阈值。
• 分析在稀疏区域中，由于最高奇异向量的局域化，标准谱聚类失败的原因。
• 开发一种改进的谱算法——对角删除SVD，使其在比原始SVD更低的边密度下实现分区恢复。
• 将该算法应用于植入的超图划分和k-SAT问题，建立目前最优的高效恢复边界。

提出的方法

• 对顶点集大小为 $n_1$ 和 $n_2$ 的二部随机块模型进行理论分析，其中 $n_2 \gg n_1$，且边概率依赖于社区标签。
• 使用矩阵扰动引理（广义Davis-Kahan定理）分析在噪声和信号扰动下奇异向量的稳定性。
• 通过切尔诺夫不等式应用度集中界，刻画 $V_1$ 中顶点的度序列。
• 提出对角删除SVD：一种在SVD前从双邻接矩阵中删除对角线元素的谱算法，以缓解局域化效应。
• 将植入的k-SAT和超图划分问题约化为二部块模型，以推导高效恢复的子句密度边界。
• 使用概率方法和特征值间隙估计，对恢复和检测阈值进行高概率（whp）分析。

实验结果

研究问题

• RQ1 在非平衡二部随机块模型中，当边密度达到何种程度时，可在较小顶点集中实现对植入分区的高效检测？
• RQ2 尽管信噪比非零，为何标准谱聚类在稀疏区域中会失效？
• RQ3 能否通过改进的谱算法克服奇异向量的局域化障碍，并在更低的边密度下实现恢复？
• RQ4 通过该约化方法，目前已知的随机k-SAT和超图划分中高效恢复的最紧子句密度边界是什么？

主要发现

• 检测存在一个精确阈值，位于边密度 $p = \Theta(n_1^{-2/3} n_2^{-1/3})$，低于此密度时检测不可能，高于此密度时以高概率可行。
• 当 $p = c n_1^{-2/3} n_2^{-1/3}$ 时，原始SVD因最高奇异向量在可忽略的坐标子集上局域化而无法恢复植入分区。
• 对角删除SVD在边密度 $p = \Theta(n_1^{-2/3} n_2^{-1/3})$ 下成功恢复分区，实现近乎最优性能。
• 在此密度下，该算法在 $V_1$ 中与真实分区的匹配度达到 $1-o(1)$，显著优于标准SVD。
• 研究结果建立了目前在植入k-SAT和k-均匀超图划分问题中高效恢复的最优一般边界。
• SVD的失效被证明源于噪声矩阵 $D_V - \mathbb{E}D_V$ 中存在较大的谱间隙，从而扭曲了信号子空间。