[论文解读] Statistical Query Algorithms and Low-Degree Tests Are Almost Equivalent

Matthew Brennan, Guy Bresler+3 more|arXiv (Cornell University)|Sep 13, 2020

Sparse and Compressive Sensing Techniques参考文献 76被引用 24

一句话总结

本文在温和条件下，建立了高维假设检验中统计查询（SQ）算法与低阶多项式检验之间的近似等价性。它表明，一种模型中的下界可推出另一种模型中几乎等价的下界，统一了下界分析技术，并为稀疏PCA、张量PCA及planted clique变体等问题带来了新的SQ下界。

ABSTRACT

Researchers currently use a number of approaches to predict and substantiate information-computation gaps in high-dimensional statistical estimation problems. A prominent approach is to characterize the limits of restricted models of computation, which on the one hand yields strong computational lower bounds for powerful classes of algorithms and on the other hand helps guide the development of efficient algorithms. In this paper, we study two of the most popular restricted computational models, the statistical query framework and low-degree polynomials, in the context of high-dimensional hypothesis testing. Our main result is that under mild conditions on the testing problem, the two classes of algorithms are essentially equivalent in power. As corollaries, we obtain new statistical query lower bounds for sparse PCA, tensor PCA and several variants of the planted clique problem.

研究动机与目标

• 统一高维统计估计中受限计算模型下的计算下界分析技术。
• 探究统计查询（SQ）算法与低阶多项式检验在假设检验中是否在能力上本质上等价。
• 通过利用等价性，为稀疏PCA、张量PCA及planted clique等关键问题推导出新的统计查询下界。
• 提供一个理论框架，解释为何多种受限模型始终预测相同的信噪比-计算间隙。
• 证明一种模型（如SQ）中的下界可几乎无损失地转移到另一种模型（如低阶多项式）中。

提出的方法

• 通过统计维数和多项式区分器的次数的界，正式建立统计查询（SQ）算法与低阶多项式检验之间的联系。
• 利用噪声算子和对随机限制的鲁棒性，分析分布在这两种测试下的行为。
• 应用SDA（简单对替代）和乘积-SDA概念，从SQ查询复杂度推导出多项式测试的次数界。
• 采用克隆技术，使用低阶多项式模拟SQ查询，使两种模型间的计算能力达到对等。
• 通过等价性分析具体问题，包括张量PCA、planted clique和带噪声的稀疏奇偶性问题，以获得紧致下界。
• 利用布尔超立方体上的傅里叶分析和矩的界，刻画噪声分布下低阶测试的行为。

实验结果

研究问题

• RQ1 在高维假设检验中，统计查询算法与低阶多项式检验在能力上是否本质上等价？
• RQ2 SQ模型中的下界能否以最小损失转移到低阶多项式测试中？
• RQ3 不同受限模型（如SQ、Sum-of-Squares、低阶多项式）中观察到的一致信号-噪声阈值是否源于共同的底层等价性？
• RQ4 该等价性能否用于推导出稀疏PCA和张量PCA等新问题的下界，而这些问题是先前下界受限的？
• RQ5 在SQ和低阶模型中，对噪声参数（如带噪声奇偶性中的ρ）的依赖是否都是紧的？

主要发现

• 在温和条件下，统计查询算法与低阶多项式检验在高维假设检验中几乎等价。
• SQ模型中的下界可推出几乎等价的低阶多项式模型下界，反之亦然。
• 本文为稀疏PCA、张量PCA及planted clique问题的变体建立了新的统计查询下界。
• 对于带噪声的 $2^k$-子集 $s$-稀疏奇偶性问题，证明了界 $ ho^{2s} = O(1/m)$ 是紧的，确认了所推导的SQ下界最优。
• 该等价性使得可将已知下界从一个模型无损转移到另一模型，统一了多个问题中信息-计算间隙的证据。
• 该框架解释了为何多种受限模型始终预测相同的阈值（例如，planted clique的 $k = ilde{ heta}( heta(n))$），暗示存在更深层的等价性。