[论文解读] Tensor principal component analysis via sum-of-squares proofs

Samuel B. Hopkins, Jonathan Shi+1 more|arXiv (Cornell University)|Jul 12, 2015

Sparse and Compressive Sensing Techniques参考文献 4被引用 50

一句话总结

本文提出了一种针对张量主成分分析（TPCA）的平方和（SoS）方法，可在信噪比 τ ≥ ω(n³⁴ log(n)¹⁴) 条件下从含噪输入中恢复出一个植入的秩-1张量，优于以往算法所需的 τ ≥ Ω(n)。该方法利用四次方的 SoS 松弛实现高概率下的恢复与认证，同时通过偏移幂迭代方法提供近乎线性时间的变体。

ABSTRACT

We study a statistical model for the tensor principal component analysis problem introduced by Montanari and Richard: Given a order-$3$ tensor $T$ of the form $T = τ\cdot v_0^{\otimes 3} + A$, where $τ\geq 0$ is a signal-to-noise ratio, $v_0$ is a unit vector, and $A$ is a random noise tensor, the goal is to recover the planted vector $v_0$. For the case that $A$ has iid standard Gaussian entries, we give an efficient algorithm to recover $v_0$ whenever $τ\geq ω(n^{3/4} \log(n)^{1/4})$, and certify that the recovered vector is close to a maximum likelihood estimator, all with high probability over the random choice of $A$. The previous best algorithms with provable guarantees required $τ\geq Ω(n)$. In the regime $τ\leq o(n)$, natural tensor-unfolding-based spectral relaxations for the underlying optimization problem break down (in the sense that their integrality gap is large). To go beyond this barrier, we use convex relaxations based on the sum-of-squares method. Our recovery algorithm proceeds by rounding a degree-$4$ sum-of-squares relaxations of the maximum-likelihood-estimation problem for the statistical model. To complement our algorithmic results, we show that degree-$4$ sum-of-squares relaxations break down for $τ\leq O(n^{3/4}/\log(n)^{1/4})$, which demonstrates that improving our current guarantees (by more than logarithmic factors) would require new techniques or might even be intractable. Finally, we show how to exploit additional problem structure in order to solve our sum-of-squares relaxations, up to some approximation, very efficiently. Our fastest algorithm runs in nearly-linear time using shifted (matrix) power iteration and has similar guarantees as above. The analysis of this algorithm also confirms a variant of a conjecture of Montanari and Richard about singular vectors of tensor unfoldings.

研究动机与目标

• 开发一种高效算法，用于从含噪的三阶张量中恢复一个植入的秩-1张量，改进以往对信噪比（τ）的要求。
• 分析现有谱方法与张量展开方法在低信噪比情形下的局限性，这些方法因存在较大的整数规划间隙而失效。
• 证明平方和方法可通过利用统计张量模型中的高阶矩结构来克服这些障碍。
• 通过使用偏移幂迭代近似 SoS 松弛，为 TPCA 提供近乎线性时间的算法。
• 为四次方 SoS 建立近乎匹配的下界，表明若要超越对数因子的改进，将需要新方法。

提出的方法

• 将张量 PCA 问题表述为在单位球面上对齐次三次多项式进行最大似然估计的任务。
• 对 MLE 问题应用四次方平方和（SoS）松弛，将其转化为凸半定规划问题。
• 使用伪分布与矩矩阵表示并求解 SoS 松弛，从而在噪声下实现稳健恢复。
• 通过变量替换 y_β = x^β（|β| = 1）将四次方 SoS 松弛转化为矩阵特征值问题，借助张量展开实现。
• 通过近似 SoS 解并使用偏移矩阵幂迭代，设计出一种近乎线性时间的算法，同时保持恢复保证。
• 应用浓度不等式与伪分布性质，以高概率证明恢复向量与 MLE 接近。

实验结果

研究问题

• RQ1 平方和方法能否在张量 PCA 中实现优于现有谱方法与基于展开方法的信噪比保证？
• RQ2 为何标准张量展开方法在 τ = O(n) 以下失效？其计算障碍是什么？
• RQ3 四次方平方和松弛能否在保持强恢复保证的同时被高效求解？
• RQ4 是否可能使用基于 SoS 的方法实现张量 PCA 的近乎线性时间恢复？
• RQ5 对于该问题，四次方 SoS 方法的极限是什么？下界是否能排除超越对数因子的改进？

主要发现

• 所提出的基于 SoS 的算法在 τ ≥ ω(n³⁴ log(n)¹⁴) 条件下，可实现对植入向量 v₀ 的恢复，满足 〈v₀, v〉 ≥ 1 − ε，优于以往要求的 τ ≥ Ω(n)。
• 该算法可认证恢复向量 v 接近最大似然估计器，以高概率满足 T(x) ≤ τ·〈v, x〉³ + O(n³⁴ log(n)¹⁴)。
• 通过使用偏移幂迭代，开发出一种近乎线性时间的算法变体，实现相同的恢复保证，时间复杂度为 Õ(n³)。
• 四次方 SoS 松弛在 τ ≤ O(n³⁴ / log(n)¹⁴) 时失效，表明当前 SoS 技术无法将界限改进超过对数因子。
• 该方法验证了 Montanari 和 Richard 关于张量展开的猜想的一个变体，表明在 τ ≥ ω(n³⁴ log(n)¹⁴) 条件下，此类算法在非对称噪声下仍能成功。
• 对于一般的奇数 k，该方法可扩展为在 τ ≥ ω(nᵏ⁴ log(n)¹⁴) 条件下恢复 v，满足 〈v₀, v〉 ≥ 1 − ε；对于偶数 k，则可在近乎线性时间内恢复 v，满足 〈v₀, v〉² ≥ 1 − ε。