[论文解读] Statistical Algorithms and a Lower Bound for Detecting Planted Clique

Vitaly Feldman, Elena Grigorescu+3 more|arXiv (Cornell University)|Jan 5, 2012

Machine Learning and Algorithms参考文献 47被引用 6

一句话总结

本文提出一种统计查询（SQ）框架，用于证明在随机图中检测隐藏团的复杂度的无条件下界。当隐藏团的大小为 $ O(n^{1/2 - \delta}) $ 时，该框架表明任何统计算法均需近乎最优的查询复杂度，为该问题的困难性提供了强有力证据，并支持密码学和平均情况复杂性中的假设。

ABSTRACT

We introduce a framework for proving lower bounds on computational problems over distributions against algorithms that can be implemented using access to a statistical query oracle. For such algorithms, access to the input distribution is limited to obtaining an estimate of the expectation of any given function on a sample drawn randomly from the input distribution, rather than directly accessing samples. Most natural algorithms of interest in theory and in practice, e.g., moments-based methods, local search, standard iterative methods for convex optimization, MCMC and simulated annealing can be implemented in this framework. Our framework is based on, and generalizes, the statistical query model in learning theory (Kearns, 1998). Our main application is a nearly optimal lower bound on the complexity of any statistical query algorithm for detecting planted bipartite clique distributions (or planted dense subgraph distributions) when the planted clique has size $O(n^{1/2-δ})$ for any constant $δ> 0$. The assumed hardness of variants of these problems has been used to prove hardness of several other problems and as a guarantee for security in cryptographic applications. Our lower bounds provide concrete evidence of hardness, thus supporting these assumptions.

研究动机与目标

• 开发一种通用框架，用于利用统计查询预言机对分布上的计算问题证明下界。
• 在隐藏团大小为 $ O(n^{1/2 - \delta}) $ 的情况下，为检测隐藏二分图团问题建立无条件的困难下界，其中 $ \delta > 0 $ 为任意常数。
• 为密码学应用和平均情况问题归约中使用的困难性假设提供正式证据。
• 将统计查询模型扩展至包含1比特采样预言机，并推导出更紧致的样本复杂度下界。

提出的方法

• 提出一种统计查询（SQ）模型，其中算法仅通过随机样本上函数期望的估计来访问输入分布。
• 引入一种基于函数之间平均成对相关性的新复杂度度量——统计维数（SDA）。
• 利用统计维数推导出在分布上决策问题的查询复杂度下界。
• 将该框架应用于隐藏二分图团问题，证明当隐藏团大小为 $ O(n^{1/2 - \delta}) $ 时，任何SQ算法均需 $ \Omega(n^{1/2 - \delta}) $ 次查询。
• 通过将1比特采样预言机与SQ预言机关联，并利用基于相关性的分析，证明样本复杂度下界。
• 采用归约和对平均相关性的界分析，为学习与检测任务推导出紧致的下界。

实验结果

研究问题

• RQ1 我们能否仅通过输入分布的统计查询访问，证明检测隐藏团复杂度的无条件下界？
• RQ2 对于任意常数 $ \delta > 0 $，检测大小为 $ O(n^{1/2 - \delta}) $ 的隐藏二分图团的统计查询复杂度是多少？
• RQ3 1比特采样预言机与统计查询预言机之间有何关系？我们能否仅基于1比特访问推导出紧致的下界？
• RQ4 统计维数框架能否为学习与检测任务推导出强于现有基于SQ-DIM方法的下界？
• RQ5 该框架在多大程度上支持密码学和平均情况复杂性归约中所依赖的困难性假设？

主要发现

• 任何统计查询算法在检测大小为 $ O(n^{1/2 - \delta}) $ 的隐藏二分图团时，均需 $ \Omega(n^{1/2 - \delta}) $ 次查询，从而建立了近乎最优的下界。
• 隐藏二分图团问题的统计维数（SDA）至少为 $ \sqrt{d'}/(1 - 1/d') $，其中 $ d' $ 为假设空间的维数。
• 该框架为使用1比特访问学习具有统计维数 $ d' $ 的概念类的算法，给出了 $ \Omega(\sqrt{d'}) $ 次查询的下界，优于先前工作。
• 基于平均相关性的统计维数，相较于成对相关性，提供了更紧致且更具普适性的下界推导度量。
• 结果支持隐藏团问题的猜想困难性，并为依赖该假设的密码学方案安全性提供了证据。
• 该框架推广了经典统计查询模型，适用于包括EM、MCMC、梯度下降和凸优化方法在内的广泛算法类别。