[论文解读] Semidefinite Programs for Exact Recovery of a Hidden Community

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Feb 20, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用 14

一句话总结

本文分析了随机矩阵中隐藏社区的半定规划（SDP）松弛在精确恢复中的表现，其中社区内部的条目服从分布 $P$，外部服从 $Q$。研究证明，当且仅当社区大小 $K = \omega(n / \log n)$ 时，SDP 实现了信息论最优恢复，且常数项精确；否则当 $K = o(n / \log n)$ 时，即使 $K \to \infty$，SDP 在阶次上也次优。该结果适用于伯努利和高斯模型，包括植株密集子图和子矩阵定位问题。

ABSTRACT

We study a semidefinite programming (SDP) relaxation of the maximum likelihood estimation for exactly recovering a hidden community of cardinality $K$ from an $n imes n$ symmetric data matrix $A$, where for distinct indices $i,j$, $A_{ij} \sim P$ if $i, j$ are both in the community and $A_{ij} \sim Q$ otherwise, for two known probability distributions $P$ and $Q$. We identify a sufficient condition and a necessary condition for the success of SDP for the general model. For both the Bernoulli case ($P={ m Bern}(p)$ and $Q={ m Bern}(q)$ with $p>q$) and the Gaussian case ($P=\mathcal{N}(μ,1)$ and $Q=\mathcal{N}(0,1)$ with $μ>0$), which correspond to the problem of planted dense subgraph recovery and submatrix localization respectively, the general results lead to the following findings: (1) If $K=ω( n /\log n)$, SDP attains the information-theoretic recovery limits with sharp constants; (2) If $K=Θ(n/\log n)$, SDP is order-wise optimal, but strictly suboptimal by a constant factor; (3) If $K=o(n/\log n)$ and $K o \infty$, SDP is order-wise suboptimal. The same critical scaling for $K$ is found to hold, up to constant factors, for the performance of SDP on the stochastic block model of $n$ vertices partitioned into multiple communities of equal size $K$. A key ingredient in the proof of the necessary condition is a construction of a primal feasible solution based on random perturbation of the true cluster matrix.

研究动机与目标

• 确定半定规划（SDP）松弛最大似然估计在随机矩阵中实现隐藏社区精确恢复的条件。
• 确定具有通用分布 $P$ 和 $Q$ 的隐藏社区模型下精确恢复的信息论极限。
• 分析SDP在植株密集子图和子矩阵定位问题中的性能，特别是社区大小 $K$ 相对于 $n$ 的缩放关系。
• 通过原始可行解构造和谱分析，建立SDP成功的充分与必要条件。
• 解决SDP最优性的临界缩放阈值 $K = \Theta(n / \log n)$，表明其阶次最优但常数因子上次优。

提出的方法

• 将隐藏社区恢复问题建模为最大似然估计（MLE）的半定规划（SDP）松弛，其中真实社区矩阵是最优解。
• 基于数据矩阵的谱性质和社区结构，利用集中不等式和矩阵扰动理论，推导SDP成功的充分条件。
• 通过真实聚类矩阵的随机扰动构造原始可行解 $Y$，以证明SDP成功的必要条件，利用若SDP失败则 $Y$ 的目标值必须高于真实解的事实。
• 应用Lovász-Schrijver和平方和（SOS）松弛框架，将SDP性能与其它多项式时间方法进行对比。
• 利用矩阵集中不等式（如Chernoff型不等式）控制观测矩阵 $A$ 与其期望 $\mathbb{E}[A]$ 的偏差，确保高概率下的可行性与最优性。
• 分析SDP对偶与原始可行性条件，特别是约束 $Y\mathbf{1} = 0$ 和 $Y \succeq 0$，以推导构造解 $Y = sA + t(\mathbf{J} - \mathbf{I}) + w(\mathbf{d}\mathbf{1}^T + \mathbf{1}\mathbf{d}^T - 2D) + \mathbf{I}$ 中参数 $s, t, w$ 的界。

实验结果

研究问题

• RQ1 在分布为 $P$ 和 $Q$ 的通用模型中，MLE的SDP松弛在何种条件下能精确恢复隐藏社区？
• RQ2 社区大小 $K$ 相对于 $n$ 的缩放如何影响SDP在精确恢复中的最优性？
• RQ3 当 $K = \Theta(n / \log n)$ 时，SDP是否阶次最优，还是与信息论极限存在常数因子差距？
• RQ4 SDP实现信息论最优性的临界阈值 $K$ 是什么？该阈值是否具有精确常数？
• RQ5 能否构造一个原始可行解以证明SDP失败的必要条件？该构造如何依赖于矩阵 $A$ 的谱性质？

主要发现

• 当 $K = \omega(n / \log n)$ 时，SDP在伯努利和高斯模型中均实现了信息论最优恢复，且常数项精确。
• 当 $K = \Theta(n / \log n)$ 时，SDP阶次最优但严格次优，即即使信息论上可恢复，SDP仍无法恢复社区。
• 当 $K = o(n / \log n)$ 且 $K \to \infty$ 时，SDP阶次次优，表明多项式时间算法与信息论极限之间存在根本性差距。
• 相同的临界缩放 $K = \Theta(n / \log n)$ 控制了多社区随机块模型中SDP的性能，常数因子内一致。
• 通过基于真实聚类矩阵随机扰动的原始可行解构造，推导出SDP成功的必要条件；当条件不成立时，该解在高概率下目标值超过真实解。
• 分析表明，SDP并非普遍最优：尽管在稀疏情形（$K = \omega(n / \log n)$）下匹配信息论极限，但在 $K$ 较小的稠密情形下仍会失败，即使 $K \to \infty$。