[论文解读] Statistical Query Lower Bounds for Tensor PCA

Rishabh Dudeja, Daniel Hsu|arXiv (Cornell University)|Aug 10, 2020

Tensor decomposition and applications参考文献 37被引用 8

一句话总结

该论文为张量PCA建立了尖锐的统计查询（SQ）下界，表明在 $k>2$ 的猜想困难相中，多项式查询复杂度的SQ算法无法实现信息论上最优的样本复杂度。研究揭示了最优SQ样本复杂度取决于信号张量是否对称，并识别出一个测试非零信号成为可能但估计不可行的区域。

ABSTRACT

In the Tensor PCA problem introduced by Richard and Montanari (2014), one is given a dataset consisting of $n$ samples $\mathbf{T}_{1:n}$ of i.i.d. Gaussian tensors of order $k$ with the promise that $\mathbb{E}\mathbf{T}_1$ is a rank-1 tensor and $\|\mathbb{E} \mathbf{T}_1\| = 1$. The goal is to estimate $\mathbb{E} \mathbf{T}_1$. This problem exhibits a large conjectured hard phase when $k>2$: When $d \lesssim n \ll d^{\frac{k}{2}}$ it is information theoretically possible to estimate $\mathbb{E} \mathbf{T}_1$, but no polynomial time estimator is known. We provide a sharp analysis of the optimal sample complexity in the Statistical Query (SQ) model and show that SQ algorithms with polynomial query complexity not only fail to solve Tensor PCA in the conjectured hard phase, but also have a strictly sub-optimal sample complexity compared to some polynomial time estimators such as the Richard-Montanari spectral estimator. Our analysis reveals that the optimal sample complexity in the SQ model depends on whether $\mathbb{E} \mathbf{T}_1$ is symmetric or not. For symmetric, even order tensors, we also isolate a sample size regime in which it is possible to test if $\mathbb{E} \mathbf{T}_1 = \mathbf{0}$ or $\mathbb{E}\mathbf{T}_1 eq \mathbf{0}$ with polynomially many queries but not estimate $\mathbb{E}\mathbf{T}_1$. Our proofs rely on the Fourier analytic approach of Feldman, Perkins and Vempala (2018) to prove sharp SQ lower bounds.

研究动机与目标

• 为张量PCA建立紧致的统计查询（SQ）下界，尤其关注 $n \ll d^{k/2}$ 的猜想困难相。
• 研究SQ算法是否能在张量PCA模型中实现估计秩-1信号张量的信息论最优样本复杂度。
• 分析SQ复杂度对张量对称性与阶数 $k$ 的依赖关系，特别是对偶数阶对称张量。
• 隔离出一个区域，使得通过多项式查询可检测信号存在性 ($\mathbb{E}\bm{T}_1 \neq \bm{0}$)，但无法实现信号张量估计。
• 证明SQ算法相比已知的多项式时间估计器（如Richard-Montanari谱方法）严格次优。

提出的方法

• 将Feldman等人 [18] 的傅里叶分析框架适配至张量PCA，以推导尖锐的SQ下界。
• 使用 $\mathsf{SMOOTH}_{\lambda}[\cdot]$ 算子控制布尔函数中高阶傅里叶系数的影响。
• 应用 $(2,q)$-超收缩定理，以 $L_2$ 范数表示 $L_q$ 范数的上界。
• 利用正交多变量埃米特多项式分析高斯空间，以表示和分解 $\mathcal{L}_2(\mathcal{N}(\bm{0},\bm{I}_d))$ 中的函数。
• 利用恒等式 $\mathbb{E}[H_{\bm{c}}(\bm{\mu} + \bm{Z})] = \bm{\mu}^{\bm{c}} / \sqrt{\bm{c}!}$ 将埃米特系数与信号张量的矩联系起来。
• 构建一个统计查询模型，其中算法仅通过统计量期望值的噪声估计访问数据，模拟信息受限的访问。

实验结果

研究问题

• RQ1 当 $k > 2$ 时，SQ算法能否在张量PCA中实现信息论最优的样本复杂度？
• RQ2 信号张量的对称性如何影响SQ模型中最优样本复杂度？
• RQ3 是否存在一个区域，使得通过多项式查询可检测信号存在性 ($\mathbb{E}\bm{T}_1 \neq \bm{0}$)，但无法实现信号张量估计？
• RQ4 对称偶数阶张量PCA的SQ模型中，样本复杂度的精确阈值是什么？
• RQ5 SQ下界与已知多项式时间估计器（如Richard-Montanari谱方法）的性能相比如何？

主要发现

• 对于一般 $k>2$，多项式查询复杂度的SQ算法无法在猜想困难相 $d \lesssim n \ll d^{k/2}$ 中解决张量PCA问题。
• SQ模型中最优样本复杂度取决于信号张量是否对称：对称张量的阈值严格低于非对称张量。
• 对于对称偶数阶张量，存在一个区域使得测试 $\mathbb{E}\bm{T}_1 = \bm{0}$ 与 $\mathbb{E}\bm{T}_1 \neq \bm{0}$ 成为可能，但无法实现 $\mathbb{E}\bm{T}_1$ 的估计。
• SQ模型的最优样本复杂度严格次优于Richard-Montanari谱估计器，后者可实现 $n \gtrsim d^{k/2}$。
• 该论文建立了与张量PCA猜想计算阈值相匹配的尖锐SQ下界，为该问题的困难性提供了证据。
• 利用埃米特多项式展开与超收缩性，可精确控制SQ框架中噪声与信号分量，从而导出紧致的界。