[论文解读] The Average-Case Time Complexity of Certifying the Restricted Isometry Property

Yunzi Ding, Dmitriy Kunisky+2 more|arXiv (Cornell University)|May 22, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 5

一句话总结

本文建立了对具有独立同分布 $\mathcal{N}(0,1/M)$ 入的随机高斯矩阵中受限等距性质（RIP）认证的近乎紧致的平均情况时间复杂度下界。通过低阶似然比分析，表明在 $\sqrt{M} \ll s \lesssim M/\log N$ 范围内，认证 $(s,\delta)$-RIP 需要运行时间 $N^{\tilde{\Omega}(s^2/M)}$，与目前已知的最佳算法运行时间一致，并展示了当 $\delta$ 为 $(0,1)$ 中的常数时，稀疏度与计算成本之间的平滑权衡。该结果通过放宽对 $\delta$ 的限制，强化了先前的平均情况困难性结果，不再局限于 $\delta = o(1)$ 的情形。

ABSTRACT

In compressed sensing, the restricted isometry property (RIP) on $M imes N$ sensing matrices (where $M < N$) guarantees efficient reconstruction of sparse vectors. A matrix has the $(s,δ)$-$\mathsf{RIP}$ property if behaves as a $δ$-approximate isometry on $s$-sparse vectors. It is well known that an $M imes N$ matrix with i.i.d. $\mathcal{N}(0,1/M)$ entries is $(s,δ)$-$\mathsf{RIP}$ with high probability as long as $s\lesssim δ^2 M/\log N$. On the other hand, most prior works aiming to deterministically construct $(s,δ)$-$\mathsf{RIP}$ matrices have failed when $s \gg \sqrt{M}$. An alternative way to find an RIP matrix could be to draw a random gaussian matrix and certify that it is indeed RIP. However, there is evidence that this certification task is computationally hard when $s \gg \sqrt{M}$, both in the worst case and the average case. In this paper, we investigate the exact average-case time complexity of certifying the RIP property for $M imes N$ matrices with i.i.d. $\mathcal{N}(0,1/M)$ entries, in the "possible but hard" regime $\sqrt{M} \ll s\lesssim M/\log N$. Based on analysis of the low-degree likelihood ratio, we give rigorous evidence that subexponential runtime $N^{ ildeΩ(s^2/M)}$ is required, demonstrating a smooth tradeoff between the maximum tolerated sparsity and the required computational power. This lower bound is essentially tight, matching the runtime of an existing algorithm due to Koiran and Zouzias. Our hardness result allows $δ$ to take any constant value in $(0,1)$, which captures the relevant regime for compressed sensing. This improves upon the existing average-case hardness result of Wang, Berthet, and Plan, which is limited to $δ= o(1)$.

研究动机与目标

• 确定具有独立同分布 $\mathcal{N}(0,1/M)$ 入的随机 $M \times N$ 矩阵的受限等距性质（RIP）认证的平均情况计算复杂度。
• 填补现有算法与最坏情况困难性结果之间的差距，特别是在 $\sqrt{M} \ll s \lesssim M/\log N$ 的‘可能但困难’范围内。
• 提供严格证据，表明在此范围内，子指数运行时间 $N^{\tilde{\Omega}(s^2/M)}$ 对于 RIP 认证是必要的。
• 通过允许 $\delta$ 为 $(0,1)$ 中的任意常数，而非要求 $\delta = o(1)$，将先前的平均情况困难性结果加以扩展。
• 通过与现有 Koiran-Zouzias 算法的运行时间匹配，证明该下界本质上是紧致的。

提出的方法

• 通过分析脉冲 Wishart 模型的低阶似然比，为 RIP 认证建立计算下界。
• 推导出在稀疏 Rademacher 先验下，随机向量内积的矩的表达式，以表示度数为 $D$ 的似然比的 $L^2$-范数。
• 利用广义二项式系数的泰勒展开，对似然比表达式中的幂级数系数进行有界控制。
• 对随机支持交集的矩进行有界控制，以控制稀疏先验下似然比的增长。
• 对脉冲先验施加截断，以确保在分析中似然比保持有界且行为良好。
• 结合渐近尺度假设（$s \leq M$，$D = o(s^2/M)$），推导出似然比范数的统一有界性 $O(1)$，从而暗示计算困难性。

实验结果

研究问题

• RQ1 在 $\sqrt{M} \ll s \lesssim M/\log N$ 范围内，随机高斯矩阵中认证受限等距性质的平均情况时间复杂度是多少？
• RQ2 低阶似然比方法能否为此范围内的计算困难性提供严格证据？
• RQ3 现有的 $N^{\tilde{\Omega}(s^2/M)}$ 运行时间下界是否紧致，且是否与最佳已知算法运行时间一致？
• RQ4 平均情况困难性结果能否扩展至允许 $\delta$ 为 $(0,1)$ 中的任意常数，而非要求 $\delta = o(1)$？
• RQ5 脉冲先验截断在确保似然比分析有效性方面起什么作用？

主要发现

• 本文建立了对随机高斯矩阵中 $(s,\delta)$-RIP 认证的计算下界 $N^{\tilde{\Omega}(s^2/M)}$，该下界近乎紧致，因其与 Koiran-Zouzias 算法的运行时间一致。
• 该下界对任意常数 $\delta \in (0,1)$ 均成立，显著优于以往仅限于 $\delta = o(1)$ 的结果。
• 分析表明，在截断的稀疏 Rademacher 先验下，低阶似然比保持有界，为该范围内的平均情况计算困难性提供了严格证据。
• 该下界在假设 $s \leq M$ 且 $D = o(s^2/M)$ 下推导得出，确保了似然比范数为 $O(1)$，意味着任何低阶算法均无法解决该问题。
• 该结果展示了最大可容忍稀疏度 $s$ 与所需计算能力之间的平滑权衡，从计算复杂度角度形式化了‘平方瓶颈’现象。
• 本工作首次提供了适用于 $\delta \in (0,1)$ 全范围的、既紧致又适用的 RIP 认证平均情况困难性结果。