[论文解读] Subexponential-Time Algorithms for Sparse PCA

Yunzi Ding, Dmitriy Kunisky+2 more|arXiv (Cornell University)|Jul 26, 2019

Random Matrices and Applications参考文献 77被引用 21

一句话总结

该论文在稀疏PCA的突变Wigner模型和Wishart模型中提出了亚指数时间算法，通过在多项式时间的对角阈值法与指数时间的穷举搜索之间插值，实现了稀疏度与运行时间之间的平滑权衡。当 1/√n ≪ ρ ≪ 1 时，恢复可在 exp(ρ²n) 时间内完成，低阶似然比分析提供了严谨证据，表明该权衡在计算上是最优的。

ABSTRACT

We study the computational cost of recovering a unit-norm sparse principal component $x \in \mathbb{R}^n$ planted in a random matrix, in either the Wigner or Wishart spiked model (observing either $W + λxx^ op$ with $W$ drawn from the Gaussian orthogonal ensemble, or $N$ independent samples from $\mathcal{N}(0, I_n + βxx^ op)$, respectively). Prior work has shown that when the signal-to-noise ratio ($λ$ or $β\sqrt{N/n}$, respectively) is a small constant and the fraction of nonzero entries in the planted vector is $\|x\|_0 / n = ρ$, it is possible to recover $x$ in polynomial time if $ρ\lesssim 1/\sqrt{n}$. While it is possible to recover $x$ in exponential time under the weaker condition $ρ\ll 1$, it is believed that polynomial-time recovery is impossible unless $ρ\lesssim 1/\sqrt{n}$. We investigate the precise amount of time required for recovery in the "possible but hard" regime $1/\sqrt{n} \ll ρ\ll 1$ by exploring the power of subexponential-time algorithms, i.e., algorithms running in time $\exp(n^δ)$ for some constant $δ\in (0,1)$. For any $1/\sqrt{n} \ll ρ\ll 1$, we give a recovery algorithm with runtime roughly $\exp(ρ^2 n)$, demonstrating a smooth tradeoff between sparsity and runtime. Our family of algorithms interpolates smoothly between two existing algorithms: the polynomial-time diagonal thresholding algorithm and the $\exp(ρn)$-time exhaustive search algorithm. Furthermore, by analyzing the low-degree likelihood ratio, we give rigorous evidence suggesting that the tradeoff achieved by our algorithms is optimal.

研究动机与目标

• 弥合稀疏PCA中多项式时间可恢复稀疏度（ρ ≲ 1/√n）与信息论上可能的范围（ρ ≪ 1）之间的差距。
• 设计在 1/√n ≪ ρ ≪ 1 的“可能但困难”区间内，运行时间为 subexponential time exp(n^δ) 的高效稀疏PCA算法。
• 通过低阶似然比方法，提供严谨证据表明所提出的运行时间-稀疏度权衡在计算上是最优的。
• 统一现有算法：将多项式时间的对角阈值法与指数时间的穷举搜索整合为一个连续的亚指数时间算法族。

提出的方法

• 提出一族亚指数时间稀疏PCA算法，可在对角阈值法与穷举搜索之间插值，其运行时间随稀疏度水平 ρ 按 exp(ρ²n) 缩放。
• 采用低阶似然比框架分析稀疏PCA的计算难度，对Wigner和Wishart突变模型的d阶似然比进行有界分析。
• 运用组合估计与矩范数控制，以管理低阶似然比的范数，特别关注展开式中d阶项的贡献。
• 利用Chernoff不等式与二项式系数和阶乘的渐近近似，推导出似然比范数增长的紧致界。
• 引入参数 D_n = o(n) 截断d阶展开，确保亚指数运行时间，同时保持信号检测能力。
• 采用关键阈值条件 w_n = ⌈log(1/λ_n)⌉，判断低阶似然比范数何时发散，从而指示在某一稀疏度阈值以下存在计算不可行性。

实验结果

研究问题

• RQ1 当稀疏度 ρ 满足 1/√n ≪ ρ ≪ 1 时，稀疏PCA是否可在亚指数时间内求解，此时多项式时间算法失效？
• RQ2 在突变Wigner和Wishart模型中，稀疏PCA恢复的最优稀疏度ρ与运行时间之间的权衡是什么？
• RQ3 所提出的亚指数时间算法在计算上是否最优，还是存在更优的算法？
• RQ4 低阶似然比框架能否为稀疏PCA问题中的计算困难性提供严谨证据？
• RQ5 突变矩阵模型的谱特性如何影响在亚多项式或亚指数时间内恢复的可行性？

主要发现

• 该论文构建了一类运行时间为 exp(ρ²n) 的亚指数时间稀疏PCA算法，其在多项式时间对角阈值法与指数时间穷举搜索之间实现平滑插值。
• 在Wigner模型中，当 ρ ≳ 1/√n 时算法可实现弱恢复，且在 1/√n ≪ ρ ≪ 1 的区间内运行时间缩放为 exp(ρ²n)。
• 当 ρ ≲ C√(D_n/n)λ_n log⁻²(1/λ_n) 时，低阶似然比范数发散，表明任何运行时间在 exp(n^δ)（δ < 1）内的算法在该阈值以下均无法成功。
• 分析表明，所提算法实现的稀疏度与运行时间之间的权衡在低阶多项式模型下是最优的，为计算困难性提供了强有力证据。
• 在Wigner模型中，当 λ_n > 1 且 ρ ≳ 1/√n 时算法成功，运行时间为 exp(ρ²n)，显著快于穷举搜索的 exp(ρn) 时间。
• 对于Wishart模型，相同的算法框架适用，且在 β 与 ρ 满足类似条件时，运行时间界 exp(ρ²n) 依然成立，证实了其在两类突变模型中的鲁棒性。