[论文解读] Relative Density and Exact Recovery in Heterogeneous Stochastic Block Models

Amin Jalali, Qiyang Han+2 more|arXiv (Cornell University)|Dec 15, 2015

Complex Network Analysis Techniques参考文献 19被引用 5

一句话总结

本文引入相对密度作为控制异质随机块模型（SBMs）中精确恢复的关键参数，其中社区规模和连接概率差异显著。研究证明，当社区稀疏且数量极少（在n中为多对数规模）时，即使社区小至√log n规模，精确恢复也是可能的，这挑战了同质SBMs中传统的√n阈值。

ABSTRACT

The Stochastic Block Model (SBM) is a widely used random graph model for networks with communities. Despite the recent burst of interest in recovering communities in the SBM from statistical and computational points of view, there are still gaps in understanding the fundamental information theoretic and computational limits of recovery. In this paper, we consider the SBM in its full generality, where there is no restriction on the number and sizes of communities or how they grow with the number of nodes, as well as on the connection probabilities inside or across communities. This generality allows us to move past the artifacts of homogenous SBM, and understand the right parameters (such as the relative densities of communities) that define the various recovery thresholds. We outline the implications of our generalizations via a set of illustrative examples. For instance, $\log n$ is considered to be the standard lower bound on the cluster size for exact recovery via convex methods, for homogenous SBM. We show that it is possible, in the right circumstances (when sizes are spread and the smaller the cluster, the denser), to recover very small clusters (up to $\sqrt{\log n}$ size), if there are just a few of them (at most polylogarithmic in $n$).

研究动机与目标

• 填补在稀疏、异质网络中社区检测的信息论极限与计算极限之间理解的空白。
• 在不限制社区规模、数量或连接概率的前提下，刻画一般随机块模型中的精确恢复阈值。
• 识别相对密度作为控制可恢复性的关键参数，尤其针对小型或不平衡社区。
• 证明当社区足够密集且数量极少时，精确恢复可实现于小至√log n规模的社区。
• 通过引入适用于稀疏、异质及增长型社区SBMs的框架，统一并推广现有结果。

提出的方法

• 提出一种广义的异质随机块模型，允许任意社区规模、增长速率和连接概率。
• 将相对密度D(p_k, q)定义为社区可恢复性的关键描述符，衡量社区内与社区间边的信噪比。
• 提出基于相对密度与社区规模的新框架，以确定精确恢复阈值。
• 应用浓度不等式与随机矩阵理论，分析不同社区配置下的恢复条件。
• 通过结合度基分析与谱分析技术，推导出精确恢复的充分条件。
• 通过不同社区规模与连接概率的示例配置，验证理论结果。

实验结果

研究问题

• RQ1 在一般异质随机块模型中，精确社区恢复的根本信息论极限是什么？
• RQ2 社区内与社区间连接概率之间的相对密度如何影响小型或不平衡社区的可恢复性？
• RQ3 能否在社区规模小于√n时实现精确恢复？在何种条件下可以？
• RQ4 社区的数量与规模分布对恢复阈值有何影响？
• RQ5 现有恢复保证（如同质SBMs中的）在异质设置下如何扩展或失效？

主要发现

• 当社区足够密集且此类社区数量最多为多对数规模时，精确恢复可实现于小至√log n规模的社区。
• 同质SBMs中社区规模的√n阈值并非根本限制；若社区足够密集，更小的社区仍可被恢复。
• 相对密度D(p_min, q)必须满足D(p_min, q) ≳ log n / n_min，以确保精确恢复，且已为各种配置推导出明确界限。
• 在(n^ε, O(1), n^{1−ε})与(n/2, n^{−α}log n, 1)的配置中，理论恢复条件得到验证，表明在β + ε > 2α与2ε + α > 1时恢复是可行的。
• 所提出的框架推广了现有结果，并识别出凸优化方法、谱方法或简单阈值法可能成功的参数区域。
• 定理1的最后一个条件在某些配置中不成立（例如当∑n_k^α不是o(1)时），表明该方法的局限性，并识别出困难区域。