[论文解读] Non-Reconstructability in the Stochastic Block Model

Joe Neeman, Praneeth Netrapalli|arXiv (Cornell University)|Apr 25, 2014

Random Matrices and Applications参考文献 17被引用 21

一句话总结

本文在两簇相等的特殊情况之外，为随机块模型中的不可重构性建立了充分条件，将其与具有相同平均度的埃拉托斯特尼-雷尼随机图的不可区分性联系起来。研究发现，即使超过凯斯滕-斯蒂格姆界限，重构性仍可能失败，挑战了该界限在一般块模型中为重构性普遍阈值的假设。

ABSTRACT

We consider the problem of clustering (or reconstruction) in the stochastic block model, in the regime where the average degree is constant. For the case of two clusters with equal sizes, recent results by Mossel, Neeman and Sly, and by Massoulie, show that reconstructability undergoes a phase transition at the Kesten-Stigum bound of $λ_2^2 d = 1$, where $λ_2$ is the second largest eigenvalue of a related stochastic matrix and $d$ is the average degree. In this paper, we address the general case of more than two clusters and/or unbalanced cluster sizes. Our main result is a sufficient condition for clustering to be impossible, which matches the existing result for two clusters of equal sizes. A key ingredient in our result is a new connection between non-reconstructability and non-distinguishability of the block model from an Erdős-Rényi model with the same average degree. We also show that it is some times possible to reconstruct even when $λ_2^2 d < 1$. Our results provide evidence supporting a series of conjectures made by Decelle, Krzkala, Moore and Zdeborová regarding reconstructability and distinguishability of stochastic block models (but do not settle them).

研究动机与目标

• 将对随机块模型中可重构性的理解从两簇大小相等的特殊情况扩展至更一般情形。
• 探究凯斯滕-斯蒂格姆界限在簇大小不平衡或簇数多于两个的设置下，是否仍为可重构性的尖锐阈值。
• 建立不可重构性与具有相同平均度的埃拉托斯特尼-雷尼随机图不可区分性之间的正式联系。
• 分析似然比的二阶矩为有限的条件，作为证明一致性和不可重构性的工具。
• 挑战并修正德塞勒等人关于社区检测相变的猜想，特别是凯斯滕-斯蒂格姆界限与凝聚相变的作用。

提出的方法

• 提出了一种新颖的联系：不可重构性与具有相同平均度的埃拉托斯特尼-雷尼图的不可区分性之间的关联。
• 采用二阶矩方法，建立在随机块模型与埃拉托斯特尼-雷尼模型之间似然比的二阶矩为有限的条件，从而暗示一致性。
• 基于图中一个小型分隔子的条件独立性论证，利用莫塞尔等人（2013）引理4.7的变体，证明标签的渐近独立性。
• 运用一致可积性和总变差距离，证明节点标签的后验分布收敛于先验分布，从而表明无信息增益。
• 推导出二阶矩为有限的区域边界，该区域为一致性的充分但非必要条件，并表明在簇大小不平衡的模型中，该区域并不总能延伸至凯斯滕-斯蒂格姆界限。
• 使用数值优化方法估算一致可积性条件中的函数Q，因缺乏显式解析表达式。

实验结果

研究问题

• RQ1 在具有多于两个簇或簇大小不平衡的随机块模型中，凯斯滕-斯蒂格姆界限是否为可重构性的普遍阈值？
• RQ2 是否可通过与具有相同平均度的埃拉托斯特尼-雷尼图的不可区分性来确立不可重构性？
• RQ3 在簇大小不平衡的双簇模型中，可重构性与不可重构性的精确边界是什么？
• RQ4 似然比的(1+ε)阶矩的有限性如何与一致性和不可重构性相关联？
• RQ5 一致可积性条件中的函数Q能否显式计算，或仅能通过数值方法估计？

主要发现

• 本文为一般随机块模型中的不可重构性建立了充分条件，其结果与两簇大小相等时的已知结论一致。
• 即使λ₂²d < 1，不可重构性仍可能发生，表明凯斯滕-斯蒂格姆界限并非不可重构性失败的必要条件。
• 在凯斯滕-斯蒂格姆界限之上，随机块模型与对应的埃拉托斯特尼-雷尼模型正交，表明具有强统计可区分性。
• 在凯斯滕-斯蒂格姆界限之下，某些情形下两模型互为一致，但这种一致性并不总能延伸至凯斯滕-斯蒂格姆阈值，尤其在簇大小不平衡的模型中更为明显。
• 二阶矩条件为一致性的充分但非必要条件，且在某些情况下，该矩为有限的区域严格小于完整的统一区域。
• 作者提供了支持但未证明德塞勒等人关于社区检测相变的猜想的证据，特别是关于高效重构与计算困难之间边界的区分。