[论文解读] Reducibility and Computational Lower Bounds for Problems with Planted Sparse Structure

Matthew Brennan, Guy Bresler+1 more|arXiv (Cornell University)|Jun 19, 2018

Algorithms and Data Compression被引用 33

一句话总结

本文通过从植根团猜想出发的新型平均情况归约，为具有植根稀疏结构的若干高维统计问题（如植根独立集、稠密子图、双聚类和稀疏PCA）建立了紧致的计算下界。通过引入分布提升、拒绝核和反射克隆等技术，作者统一并强化了先前的困难性结果，表明谱方法和凸松弛方法在许多情形下是最优的。

ABSTRACT

The prototypical high-dimensional statistics problem entails finding a structured signal in noise. Many of these problems exhibit an intriguing phenomenon: the amount of data needed by all known computationally efficient algorithms far exceeds what is needed for inefficient algorithms that search over all possible structures. A line of work initiated by Berthet and Rigollet in 2013 has aimed to explain these statistical-computational gaps by reducing from conjecturally hard average-case problems in computer science. However, the delicate nature of average-case reductions has limited the applicability of this approach. In this work we introduce several new techniques to give a web of average-case reductions showing strong computational lower bounds based on the planted clique conjecture using natural problems as intermediates. These include tight lower bounds for Planted Independent Set, Planted Dense Subgraph, Sparse Spiked Wigner, Sparse PCA, a subgraph variant of the Stochastic Block Model and a biased variant of Sparse PCA. We also give algorithms matching our lower bounds and identify the information-theoretic limits of the models we consider.

研究动机与目标

• 解决关于具有植根结构的稀疏统计模型中计算困难性的开放问题。
• 开发稳健的平均情况归约技术，保持信号强度，并在总变差距离下映射高维分布。
• 通过统一框架，强化稀疏PCA、双聚类和植根稠密子图等问题的先前困难性结果。
• 填补对高维设定下高效算法极限的理解空白，特别是在稀疏区域。
• 在多个问题中识别信息论阈值与计算阈值，并在植根团猜想下展示其一致性。

提出的方法

• 提出一种新型平均情况归约框架，保持信号水平，并在总变差距离下近似映射两个源分布到两个目标分布。
• 开发“植根团提升”技术，将稀疏随机图中的检测问题归约为植根团问题。
• 利用“拒绝核”和“分布提升”技术，在总变差距离下保持统计性质的同时转换分布。
• 应用“反射克隆”和“高斯提升”技术，为秩-1子矩阵和双聚类问题构建归约。
• 设计“随机旋转”技术，将稀疏PCA归约为其他问题，从而在 $k \gg \sqrt{n}$ 范围内实现紧致下界。
• 通过组合多个实例副本并使用谱算法从支撑集交集中恢复信号，构建检测-恢复归约。

实验结果

研究问题

• RQ1 能否为稀疏Erdős-Rényi图中大小为 $k$ 的植根独立集检测问题建立紧致计算下界？
• RQ2 对于一般植根稠密子图模型，其中 $q = \tilde{\Theta}(n^{-\alpha})$ 且 $p - q = \tilde{\Theta}(n^{-\gamma})$，$\gamma \geq \alpha$，这些下界是否仍然成立？
• RQ3 能否严格将 $k \gg \sqrt{n}$ 范围内稀疏PCA的困难性与植根团猜想联系起来？
• RQ4 是否存在一种从植根团出发的归约，能为稀疏PCA及其相关模型的简单假设检验形式提供紧致下界？
• RQ5 子图随机块模型的恢复变体是否可在计算阈值内被多项式时间求解？

主要发现

• 为在边密度为 $\tilde{\Theta}(n^{-\alpha})$ 的Erdős-Rényi图中检测大小为 $k$ 的植根独立集，建立了紧致计算下界，与信息论极限一致。
• 首次为一般植根稠密子图模型（$q = \tilde{\Theta}(n^{-\alpha})$，$p - q = \tilde{\Theta}(n^{-\gamma})$，$\gamma \geq \alpha$）证明了下界，解决了HWX（15）提出的开放问题。
• 对于稀疏突变Wigner矩阵，检测被证明比双聚类更困难，且通过来自植根团的独立归约得出了紧致下界。
• 构建了稀疏秩-1子矩阵与稀疏PCA之间的归约，实现了 $k \gg \sqrt{n}$ 范围内的紧致下界，此时谱方法是最优的。
• 一种替代归约恢复了BR13a和GMZ（17）在稀疏PCA简单假设检验变体中的下界，证实了不同框架间的一致性。
• 论文揭示了在植根向量存在偏差时，稀疏PCA中存在一个微妙的计算障碍，表明标准归约无法捕捉其全部复杂性。