[论文解读] Reducibility and Statistical-Computational Gaps from Secret Leakage

Matthew Brennan, Guy Bresler|arXiv (Cornell University)|May 16, 2020

Machine Learning and Algorithms参考文献 214被引用 22

一句话总结

本文引入了秘密泄露植 clique（$ extsc{pc}_{ ho}$）作为广义的困难性假设，以实现跨多种统计推断问题的平均情况归约。通过利用结构化的信息泄露，作者为鲁棒稀疏均值估计、张量 PCA 和随机块模型等问题建立了紧密的计算下界，首次提供了基于归约的证据，支持长期存在的统计-计算间隙猜想。

ABSTRACT

Inference problems with conjectured statistical-computational gaps are ubiquitous throughout modern statistics, computer science and statistical physics. While there has been success evidencing these gaps from the failure of restricted classes of algorithms, progress towards a more traditional reduction-based approach to computational complexity in statistical inference has been limited. Existing reductions have largely been limited to inference problems with similar structure -- primarily mapping among problems representable as a sparse submatrix signal plus a noise matrix, which are similar to the common hardness assumption of planted clique. The insight in this work is that a slight generalization of the planted clique conjecture -- secret leakage planted clique -- gives rise to a variety of new average-case reduction techniques, yielding a web of reductions among problems with very different structure. Using variants of the planted clique conjecture for specific forms of secret leakage planted clique, we deduce tight statistical-computational tradeoffs for a diverse range of problems including robust sparse mean estimation, mixtures of sparse linear regressions, robust sparse linear regression, tensor PCA, variants of dense $k$-block stochastic block models, negatively correlated sparse PCA, semirandom planted dense subgraph, detection in hidden partition models and a universality principle for learning sparse mixtures. In particular, a $k$-partite hypergraph variant of the planted clique conjecture is sufficient to establish all of our computational lower bounds. Our techniques also reveal novel connections to combinatorial designs and to random matrix theory. This work gives the first evidence that an expanded set of hardness assumptions, such as for secret leakage planted clique, may be a key first step towards a more complete theory of reductions among statistical problems.

研究动机与目标

• 解决平均情况推断问题中统计-计算间隙缺乏基于归约的证据的问题。
• 克服在结构差异较大的问题之间归约的技术障碍，例如稀疏 PCA 和稠密块模型。
• 提出一类新的困难性假设——秘密泄露植 clique（$\textsc{pc}_{\rho}$）——以统一跨多样化问题的归约。
• 为鲁棒估计、稀疏混合模型和张量 PCA 中的猜想间隙提供基于归约的证据。
• 建立平均情况归约、$\mathbb{F}_r^t$ 上的组合设计以及随机矩阵理论之间的联系。

提出的方法

• 引入 $\textsc{pc}_{\rho}$，即植 clique 猜想的推广，其中部分隐藏 clique 的信息被揭示。
• 使用拒绝核和稠密伯努利旋转，将植 clique 实例转换为目标问题中的结构化噪声。
• 构建对称三元拒绝核，并在 $\mathbb{F}_r^t$ 上设计矩阵，将 clique 结构嵌入高斯和伯努利矩阵中。
• 利用威沙特矩阵与逆威沙特矩阵之间的收敛结果，生成稀疏 PCA 中的负相关性。
• 应用超图上的张量补全技术，将问题归约为张量 PCA 和稀疏混合学习。
• 使用低度多项式与统计查询下界，为 $\textsc{pc}_{\rho}$ 猜想提供证据。

实验结果

研究问题

• RQ1 秘密泄露植 clique（$\textsc{pc}_{\rho}$）能否作为多样化统计推断问题之间归约的通用起点？
• RQ2 从 $\textsc{pc}_{\rho}$ 中涌现出的新型归约技术，如何克服以往在结构差异较大的问题之间映射时的局限性？
• RQ3 $\textsc{pc}_{\rho}$ 基于的归约在多大程度上为鲁棒稀疏均值估计和张量 PCA 等问题中的统计-计算间隙提供了证据？
• RQ4 与 $\mathbb{F}_r^t$ 中的关联几何及随机矩阵理论的联系，如何增强归约框架？
• RQ5 低度算法和统计查询算法的失败，能否支持 $\textsc{pc}_{\rho}$ 困难性猜想？

主要发现

• 该 $\textsc{pc}_{\rho}$ 猜想意味着鲁棒稀疏均值估计的计算下界，其困难性可达凯斯滕-斯蒂格姆阈值。
• 从 $k$-部超图植 clique 到 Isbm 的归约，建立了当 $\epsilon = \Theta(\sqrt{k})$ 时弱恢复的计算下界。
• 本文证明了威沙特矩阵与逆威沙特矩阵之间的收敛结果，该结果被用于在稀疏 PCA 中生成负相关性。
• 从 $\textsc{pc}_{\rho}$ 的归约得出了张量 PCA 的紧致计算下界，与已知的统计极限一致。
• 该框架建立了一个学习稀疏混合模型的普遍性原理，表明 UC$(n)$ 中的所有问题具有相同的计算阈值。
• 低度多项式与统计查询算法的证据支持 $\textsc{pc}_{\rho}$ 猜想，特别是 $k$-部变体，这是所有猜想中最强的一个。