[论文解读] Semidefinite Programs on Sparse Random Graphs and their Application to Community Detection

Andrea Montanari, Subhabrata Sen|arXiv (Cornell University)|Apr 22, 2015

Complex Network Analysis Techniques被引用 6

一句话总结

本文分析了稀疏随机图上的半定规划（SDP），表明对于平均度有界的 Erdős-Rényi 图和随机正则图，SDP 值集中在 $2n\sqrt{d} + o(n\sqrt{d})$。研究证明 SDP 在稀疏社区检测的随机块模型中实现了信息论最优阈值，当 $(a-b)^2/(4d) > 1 + o_d(1)$ 时可检测到社区，几乎达到基本极限 $(a-b)^2/(4d) > 1$。该分析结合了高阶 Grothendieck 不等式、统计物理中的插值方法以及变形随机矩阵的特征向量分析。

ABSTRACT

Denote by $A$ the adjacency matrix of an Erdos-Renyi graph with bounded average degree. We consider the problem of maximizing $\langle A-E\{A\},X angle$ over the set of positive semidefinite matrices $X$ with diagonal entries $X_{ii}=1$. We prove that for large (bounded) average degree $d$, the value of this semidefinite program (SDP) is --with high probability-- $2n\sqrt{d} + n\, o(\sqrt{d})+o(n)$. For a random regular graph of degree $d$, we prove that the SDP value is $2n\sqrt{d-1}+o(n)$, matching a spectral upper bound. Informally, Erdos-Renyi graphs appear to behave similarly to random regular graphs for semidefinite programming. We next consider the sparse, two-groups, symmetric community detection problem (also known as planted partition). We establish that SDP achieves the information-theoretically optimal detection threshold for large (bounded) degree. Namely, under this model, the vertex set is partitioned into subsets of size $n/2$, with edge probability $a/n$ (within group) and $b/n$ (across). We prove that SDP detects the partition with high probability provided $(a-b)^2/(4d)> 1+o_{d}(1)$, with $d= (a+b)/2$. By comparison, the information theoretic threshold for detecting the hidden partition is $(a-b)^2/(4d)> 1$: SDP is nearly optimal for large bounded average degree. Our proof is based on tools from different research areas: $(i)$ A new `higher-rank' Grothendieck inequality for symmetric matrices; $(ii)$ An interpolation method inspired from statistical physics; $(iii)$ An analysis of the eigenvectors of deformed Gaussian random matrices.

研究动机与目标

• 理解半定规划（SDP）在稀疏随机图上的行为，特别是平均度有界的 Erdős-Rényi 图和随机正则图。
• 确定在单位对角线元素的秩一正定矩阵上，最大化 $\langle \mathbf{A} - \mathbb{E}[\mathbf{A}], \mathbf{X} \rangle $ 的 SDP 的精确渐近值。
• 确定 SDP 是否能在稀疏两社区随机块模型中实现信息论检测阈值。
• 开发新的分析工具——特别是高阶 Grothendieck 不等式和一种插值方法——以实现对稀疏图上 SDP 的精确分析。

提出的方法

• 推导 Erdős-Rényi 图 $G(n, d/n)$ 上 SDP 的渐近值为 $2n\sqrt{d} + n\,o(\sqrt{d}) + o(n)$，在大且有界的 $d$ 下以高概率成立。
• 证明对于随机正则图 $G^{{\rm reg}}(n,d)$，SDP 值为 $2n\sqrt{d-1} + o(n)$，与谱上界一致。
• 引入对称矩阵的高阶 Grothendieck 不等式，以控制秩约束 SDP 近似中的误差。
• 应用受统计物理启发的插值方法，平滑地变形图模型，并在扰动下控制 SDP 值。
• 分析变形高斯随机矩阵的特征向量，以理解社区检测设置下最优解的结构。
• 使用 Lindeberg 方法将稀疏图的中心化邻接矩阵替换为高斯矩阵模型，从而实现精确的渐近分析。

实验结果

研究问题

• RQ1 在稀疏 Erdős-Rényi 图上，半定规划 $\max \langle \mathbf{A} - \mathbb{E}[\mathbf{A}], \mathbf{X} \rangle $ 在 $\mathbf{X} \succeq 0$，$\operatorname{diag}(\mathbf{X}) = \mathbf{1}$ 条件下的渐近值是什么？
• RQ2 随机正则图上的 SDP 值与 Erdős-Rényi 图上的相比如何？是否与谱上界一致？
• RQ3 当信噪比接近信息论阈值时，半定规划能否在稀疏随机块模型中检测到社区？
• RQ4 在谱方法因度数波动而失效的稀疏图上分析 SDP 时，需要哪些新的数学工具？
• RQ5 稀疏图上的 SDP 值在多大程度上依赖于图的度分布？是否能通过高斯模型捕捉这一依赖？

主要发现

• 对于平均度为 $d$ 的 Erdős-Rényi 图，当 $n \to \infty$ 时，SDP 值以高概率为 $2n\sqrt{d} + n\,o(\sqrt{d}) + o(n)$。
• 对于度数为 $d$ 的随机正则图，SDP 值为 $2n\sqrt{d-1} + o(n)$，与谱上界 $2\sqrt{d-1}$ 一致。
• SDP 实现了稀疏两社区随机块模型的信息论最优检测阈值：当 $(a-b)^2/(4d) > 1 + o_d(1)$ 时可实现检测。
• 阈值 $ (a-b)^2/(4d) > 1 $ 是社区检测的基本极限；因此，对于大且有界的 $d$，SDP 几乎是最优的。
• 该分析依赖于一种新的高阶 Grothendieck 不等式，可控制低秩 SDP 近似中的误差。
• 证明使用了插值方法和 Lindeberg 方法，将邻接矩阵替换为高斯矩阵模型，从而实现精确的渐近控制。