[论文解读] Statistically Optimal and Computationally Efficient Low Rank Tensor Completion from Noisy Entries

Dong Xia, Ming Yuan+1 more|arXiv (Cornell University)|Nov 14, 2017

Tensor decomposition and applications参考文献 23被引用 13

一句话总结

该论文提出了一种计算高效的多项式时间算法，用于从噪声观测中完成低秩张量，该算法在一般 $β$-范数下实现了极小极大最优收敛速率。该方法结合了幂迭代与二阶谱初始化，实现了最优的统计性能，为高阶张量估计设定了基本极限，超越了矩阵的范围。

ABSTRACT

In this article, we develop methods for estimating a low rank tensor from noisy observations on a subset of its entries to achieve both statistical and computational efficiencies. There have been a lot of recent interests in this problem of noisy tensor completion. Much of the attention has been focused on the fundamental computational challenges often associated with problems involving higher order tensors, yet very little is known about their statistical performance. To fill in this void, in this article, we characterize the fundamental statistical limits of noisy tensor completion by establishing minimax optimal rates of convergence for estimating a $k$th order low rank tensor under the general $\ell_p$ ($1\le p\le 2$) norm which suggest significant room for improvement over the existing approaches. Furthermore, we propose a polynomial-time computable estimating procedure based upon power iteration and a second-order spectral initialization that achieves the optimal rates of convergence. Our method is fairly easy to implement and numerical experiments are presented to further demonstrate the practical merits of our estimator.

研究动机与目标

• 为解决高阶张量（$k \geq 3$）噪声张量补全的理论理解空白，此前统计效率与计算效率未能并重。
• 在一般 $\ell_p$（$1 \leq p \leq 2$）范数下，建立估计 $k$-阶低秩张量的极小极大下界。
• 开发一种可在多项式时间内计算的估计器，实现所推导的极小极大最优收敛速率。
• 证明现有高阶张量方法在统计最优性与计算效率方面均存在不足。

提出的方法

• 该方法采用二阶谱初始化，基于高阶奇异值分解原理，构建低秩张量的良好初始估计。
• 利用幂迭代对初始估计进行优化，以计算高效的方式迭代改进低秩逼近。
• 估计器设计为可在多项式时间内计算，确保在高维设置下的可扩展性。
• 理论分析表明，该方法在 $\ell_p$ 范数下，至多对数因子内实现了极小极大最优收敛速率。
• 该方法基于一种新颖的张量参数空间构造，利用 Varshamov-Gilbert 界推导极小极大下界。
• 该方法处理子高斯噪声，并假设真实张量在所有模式下均为低秩。

实验结果

研究问题

• RQ1 在高阶设置下，从噪声不完整观测中估计低秩张量的基本统计极限是什么？
• RQ2 能否设计一种计算高效的算法，实现噪声张量补全的极小极大最优收敛速率？
• RQ3 高阶张量（$k \geq 3$）的极小极大速率与矩阵（$k=2$）相比如何？
• RQ4 谱初始化与幂迭代在实现张量补全中最优统计性能方面起到何种作用？
• RQ5 所提出的方法在理论与实践中是否能优于现有的核范数方法或交替最小二乘法？

主要发现

• 该论文在 $\ell_p$（$1 \leq p \leq 2$）范数下，为估计 $k$-阶低秩张量建立了极小极大下界，表明最优速率在 $p=2$ 时为 $O_p\left(\left(\|\mathbf{T}\|_{\ell_\infty} \vee \sigma_\xi\right)\sqrt{\frac{r d_{\max} \log d_{\max}}{n}}\right)$，至多对数因子。
• 所提出的估计器在 $\ell_2$ 范数下实现了极小极大最优收敛速率，与下界至多对数因子内一致。
• 对于 $\ell_1$ 范数，估计器的速率为 $O_p\left(\frac{\|\mathbf{T}\|_* (d_{\min} d_{\max}^2)^{1/4} \log^2 d_{\max}}{\sqrt{n}} + \frac{\|\Xi\|_{\ell_1}}{d_1\cdots d_k} + \frac{\|\Xi\|_{\ell_\infty}}{\sqrt{n}}\right)$，在类似假设下与已知边界一致。
• 该方法可在多项式时间内计算，使其可扩展至高维张量，而许多基于核范数的方法计算上为 NP-难。
• 数值实验证实了该估计器在估计精度与计算效率方面的实际优越性。
• 分析表明，张量补全的统计难度随阶数 $k$ 增加而上升，且极小极大速率取决于秩 $r$ 与最大维度 $d_{\max}$ 的乘积，而非仅总条目数。