[论文解读] Statistical Limits of Convex Relaxations

Zhaoran Wang, Quanquan Gu+1 more|arXiv (Cornell University)|Mar 4, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用 3

一句话总结

本文证明，凸松弛——特别是平方和（SoS）层次——在高维稀疏估计问题中，为实现计算可行性而牺牲了统计最优性。通过构造SoS松弛的可行解，作者证明了信息论下界与凸松弛下可实现误差率之间存在一个根本性的 √s∗ 差距，表明在稀疏主子矩阵和随机块模型估计中，计算效率的提升以统计性能的下降为代价。

ABSTRACT

Many high dimensional sparse learning problems are formulated as nonconvex optimization. A popular approach to solve these nonconvex optimization problems is through convex relaxations such as linear and semidefinite programming. In this paper, we study the statistical limits of convex relaxations. Particularly, we consider two problems: Mean estimation for sparse principal submatrix and edge probability estimation for stochastic block model. We exploit the sum-of-squares relaxation hierarchy to sharply characterize the limits of a broad class of convex relaxations. Our result shows statistical optimality needs to be compromised for achieving computational tractability using convex relaxations. Compared with existing results on computational lower bounds for statistical problems, which consider general polynomial-time algorithms and rely on computational hardness hypotheses on problems like planted clique detection, our theory focuses on a broad class of convex relaxations and does not rely on unproven hypotheses.

研究动机与目标

• 刻画凸松弛（特别是平方和（SoS）层次）在高维稀疏估计问题中的统计极限。
• 研究在 s∗ = o(d / √log d)^(2/3) 且 log d = o(s∗) 的困难情形下，凸松弛是否能实现信息论下界。
• 在不依赖未证实的计算困难假设的前提下，建立最优统计速率与凸松弛可实现速率之间的差距。
• 证明即使是最紧密的凸松弛（如SoS层次），在要求计算可行性时仍无法实现最优统计性能。

提出的方法

• 使用平方和（SoS）层次——一种基于半定规划的、逐步收紧的凸松弛序列——来逼近非凸稀疏估计问题。
• 基于子图和子矩阵的扩展性质构造对偶证书，以验证SoS层次中解的可行性。
• 采用基于构造的证明策略，而非依赖计算归约或困难性假设。
• 定义一个索引为大小为 ℓ 的子集的矩阵 Π(ℓ)，其条目通过从给定集合扩展出的 2ℓ×2ℓ 全1子矩阵的数量构建。
• 利用集中不等式和次高斯尾部界，证明构造的 Π(ℓ) 几乎必然为半正定。
• 通过结合SoS程序的目标值与马尔可夫不等式，推导出估计误差的下界，表明该层次中的任意估计器必须承受至少 C′ 的误差。

实验结果

研究问题

• RQ1 凸松弛（如SoS层次）能否在稀疏主子矩阵和随机块模型估计中实现信息论下界？
• RQ2 为实现计算可行性而使用凸松弛所带来的根本性统计代价是什么？
• RQ3 最优估计器与基于凸松弛的估计器之间的性能差距是否依赖于稀疏度 s∗？
• RQ4 该差距能否在不依赖未证实计算困难假设的前提下被量化？
• RQ5 作为最紧密的凸松弛，SoS层次是否仍相对于计算不可行的估计器在统计上表现次优？

主要发现

• 一个计算不可行的估计器可实现稀疏主子矩阵和随机块模型估计的信息论下界，其量级为 √(1/s∗ · log(d/s∗))。
• 任何位于SoS层次（或更弱的凸松弛层次）中的估计器，其误差下界量级为 C′，且与 s∗ 无关，表明存在根本性的统计代价。
• 最优速率与凸松弛可实现速率之间的差距量级为 √s∗，该结果在 s∗ = o((d / log d)^(1/2ℓ)) 的设定下被定量确立，适用于第 ℓ 级SoS。
• 对于稀疏主子矩阵估计，SoS层次内一个线性时间估计器可达到下界，仅相差对数因子，表明该类估计器近乎最优。
• 该证明基于基于构造的方法，使用受 Meka 等（2015）启发的对偶证书，避免了从类似 planted clique 等难题的归约。
• 该结果无需依赖未证实的计算困难假设，使本工作有别于统计学中以往的计算下界研究。