[论文解读] The Overlap Gap Property in Principal Submatrix Recovery

David Gamarnik, Aukosh Jagannath+1 more|arXiv (Cornell University)|Aug 26, 2019

Random Matrices and Applications参考文献 78被引用 15

一句话总结

本文研究高斯随机矩阵中主子矩阵恢复问题，其中嵌入一个均值为 $\lambda/N$ 的 $k \times k$ 子矩阵。研究建立了支持恢复的精确信息理论与计算阈值，证明最大似然估计（MLE）在 $\lambda \gtrsim \sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}$ 时成功；当 $\rho$ 较小时，出现统计-计算间隙，表现为阻碍局部 MCMC 算法的重叠间隙性质（OGP）。谱方法在 $\lambda > 1/\rho$ 时可实现恢复。该工作为稀疏子矩阵检测中的算法困难性提供了严格证据。

ABSTRACT

We study support recovery for a $k imes k$ principal submatrix with elevated mean $λ/N$, hidden in an $N imes N$ symmetric mean zero Gaussian matrix. Here $λ>0$ is a universal constant, and we assume $k = N ρ$ for some constant $ρ\in (0,1)$. We establish that {there exists a constant $C>0$ such that} the MLE recovers a constant proportion of the hidden submatrix if $λ{\geq C} \sqrt{\frac{1}ρ \log \frac{1}ρ}$, {while such recovery is information theoretically impossible if $λ= o( \sqrt{\frac{1}ρ \log \frac{1}ρ} )$}. The MLE is computationally intractable in general, and in fact, for $ρ>0$ sufficiently small, this problem is conjectured to exhibit a \emph{statistical-computational gap}. To provide rigorous evidence for this, we study the likelihood landscape for this problem, and establish that for some $\varepsilon>0$ and $\sqrt{\frac{1}ρ \log \frac{1}ρ } \ll λ\ll \frac{1}{ρ^{1/2 + \varepsilon}}$, the problem exhibits a variant of the \emph{Overlap-Gap-Property (OGP)}. As a direct consequence, we establish that a family of local MCMC based algorithms do not achieve optimal recovery. Finally, we establish that for $λ> 1/ρ$, a simple spectral method recovers a constant proportion of the hidden submatrix.

研究动机与目标

• 建立在 $N \times N$ 高斯矩阵中隐藏的 $k \times k$ 主子矩阵支持恢复的精确阈值。
• 研究在子矩阵稀疏（$k = N\rho$，$\rho \to 0$）时，子矩阵恢复中是否存在统计-计算间隙。
• 通过分析似然函数景观并利用重叠间隙性质（OGP），为算法困难性提供严格证据。
• 证明在 $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ 的参数范围内，局部 MCMC 算法无法实现最优恢复。
• 展示当 $\lambda > 1/\rho$ 时，谱方法可实现恒定比例的恢复，提供一种计算上可行的替代方案。

提出的方法

• 作者利用自旋玻璃理论与随机控制工具分析子矩阵恢复问题的似然函数景观。
• 在 $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ 的特定参数范围内，建立重叠间隙性质（OGP）的存在性，表明典型解在重叠上被大间隔分隔。
• 通过自由能的变分表示以及在测度与参数上定义的泛函 $\mathcal{P}$ 的凸性论证，推导 OGP。
• 证明依赖于动态规划原理与伊藤引理，分析受控扩散过程中轨迹方差，表明值函数具有严格凸性。
• 通过比较两个不同测度 $\nu_1$ 与 $\nu_2$ 的方法，证明泛函 $\mathcal{P}$ 在 $\mathcal{A}_0 \times \mathbb{R}$ 上严格凸，从而推导出 OGP 结构。
• 证明 OGP 暗示局部 MCMC 算法无法逃离局部最优，因此在困难相中无法实现最优恢复。

实验结果

研究问题

• RQ1 在 $N \times N$ 高斯矩阵中，对于均值为 $\lambda/N$ 的 $k \times k$ 主子矩阵，其支持恢复的信息理论阈值是什么？
• RQ2 在子矩阵恢复问题中，特别是在 $k = N\rho$ 且 $\rho \to 0$ 的情况下，是否存在统计-计算间隙？
• RQ3 能否在恢复在信息理论上可能但计算上困难的参数范围内，严格建立重叠间隙性质（OGP）？
• RQ4 为何局部 MCMC 算法在某些参数范围内无法恢复隐藏子矩阵？其失败的结构性原因是什么？
• RQ5 当 MLE 在计算上不可行时，谱方法是否能在某些参数范围内实现最优恢复？

主要发现

• 当 $\lambda \geq C\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}$（$C > 0$）时，MLE 可恢复隐藏子矩阵的恒定比例，从而确立了精确的信息理论阈值。
• 若 $\lambda = o\left(\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}\right)$，则支持恢复在信息理论上不可能，证实了该阈值的紧致性。
• 在 $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ 范围内，问题表现出重叠间隙性质（OGP），表明存在统计-计算间隙。
• OGP 暗示基于局部 MCMC 的算法无法实现最优恢复，为该参数范围内的算法困难性提供了严格证据。
• 当 $\lambda > 1/\rho$ 时，一种简单的谱方法可恢复隐藏子矩阵的恒定比例，提供一种计算高效的替代方案。
• OGP 结构源于随机控制问题中值函数的凸性，与具有不同漂移的受控扩散过程的方差密切相关。