[论文解读] Spectral algorithms for tensor completion

Andrea Montanari, Nike Sun|arXiv (Cornell University)|Dec 23, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用 7

一句话总结

本文提出了用于张量补全的新颖谱算法，其样本复杂度与高级和平方（SOS）方法相当，但计算成本显著降低。对于对称三阶张量，该方法在样本量要求上达到 SOS 方法的 $rd^{3/2}$，同时仅需更弱的秩条件（$r \ll d^{3/4}$），并提出一种新型基于展开的算法，在高纵横比条件下通过改进奇异子空间估计，优于朴素谱方法。

ABSTRACT

In the tensor completion problem, one seeks to estimate a low-rank tensor based on a random sample of revealed entries. In terms of the required sample size, earlier work revealed a large gap between estimation with unbounded computational resources (using, for instance, tensor nuclear norm minimization) and polynomial-time algorithms. Among the latter, the best statistical guarantees have been proved, for third-order tensors, using the sixth level of the sum-of-squares (SOS) semidefinite programming hierarchy (Barak and Moitra, 2014). However, the SOS approach does not scale well to large problem instances. By contrast, spectral methods --- based on unfolding or matricizing the tensor --- are attractive for their low complexity, but have been believed to require a much larger sample size. This paper presents two main contributions. First, we propose a new unfolding-based method, which outperforms naive ones for symmetric $k$-th order tensors of rank $r$. For this result we make a study of singular space estimation for partially revealed matrices of large aspect ratio, which may be of independent interest. For third-order tensors, our algorithm matches the SOS method in terms of sample size (requiring about $rd^{3/2}$ revealed entries), subject to a worse rank condition ($r\ll d^{3/4}$ rather than $r\ll d^{3/2}$). We complement this result with a different spectral algorithm for third-order tensors in the overcomplete ($r\ge d$) regime. Under a random model, this second approach succeeds in estimating tensors of rank $d\le r \ll d^{3/2}$ from about $rd^{3/2}$ revealed entries.

研究动机与目标

• 为弥合计算高效谱方法与统计最优和平方（SOS）方法在张量补全中的差距。
• 开发一种新型基于展开的谱算法，使其在对称 $k$-阶张量上优于朴素展开方法。
• 在多项式时间内实现与 SOS 方法相当的样本复杂度（$rd^{3/2}$ 个条目）。
• 在过完备情形（$r \geq d$）下，通过第二个谱算法在随机模型下成功恢复，实现高概率恢复。
• 为部分观测矩阵在大纵横比条件下的奇异子空间估计建立理论保证。

提出的方法

• 提出一种新型基于展开的谱算法，利用对部分观测矩阵在高纵横比条件下的精细奇异子空间估计。
• 引入对 Gram 矩阵对角与交叉分量谱范数的创新分析，采用去耦合与截断伯恩斯坦不等式。
• 应用矩阵 Rademacher 和高斯浓度界，控制谱分解中出现的随机矩阵和的算子范数。
• 利用一致性假设（A1–A3）和随机向量模型，推导奇异值与内积行为的高概率界。
• 采用压缩映射论证，表明 Gram 矩阵的交叉分量谱范数小于对角分量。
• 通过依赖最小非零奇异值与谱间隙之比的扰动界，分析奇异子空间估计误差。

实验结果

研究问题

• RQ1 谱方法能否在保持计算高效的同时，实现与和平方（SOS）方法相当的样本复杂度？
• RQ2 基于展开的谱算法性能如何依赖于展开矩阵的纵横比，特别是在高维设置下？
• RQ3 当秩 $r$ 超过维度 $d$ 时，谱方法恢复低秩张量所需的最小样本量是多少？
• RQ4 新型展开方案能否在对称张量的奇异子空间估计精度上优于标准矩阵化方法？
• RQ5 谱算法在何种精确条件下可从 $O(rd^{3/2})$ 个条目中恢复真实张量？

主要发现

• 所提出的谱算法对对称三阶张量实现了 $O(rd^{3/2})$ 的样本复杂度，与六阶和平方层次的最优结果一致。
• 该算法在 $r \ll d^{3/4}$ 条件下成功运行，该条件弱于 SOS 方法所需的 $r \ll d^{3/2}$，从而改善了谱方法有效的秩范围。
• 在过完备情形（$d \leq r \ll d^{3/2}$）下，提出第二个谱算法，在随机模型和 $O(rd^{3/2})$ 个观测条目下以高概率成功。
• Gram 矩阵对角分量的谱范数下界为 $\Omega\left(\frac{(1 + r/d)^{3}}{\log^{3/5} d}\right)$，确立了信号强度的下界。
• Gram 矩阵交叉分量的谱范数被控制在 $O\left(\frac{(\log d)^4 \tau^3}{d^{1/2}} \max\{r/d, \tau^2\}\right)$，表明在假设的一致性条件下其可忽略不计。
• 分析表明，在弱一致性假设下，即使矩阵纵横比较大，也能从 $O(rd^{3/2})$ 个条目中一致估计展开矩阵的奇异子空间。