[论文解读] Provable Tensor Factorization with Missing Data

Prateek Jain, Sewoong Oh|arXiv (Cornell University)|Jun 11, 2014

Tensor decomposition and applications参考文献 26被引用 125

一句话总结

该论文提出了一种可证明收敛的交替最小化算法，用于在低秩正交CP分解下，从缺失条目中精确完成张量。在标准的非相干性和正交性假设下，证明了$O(n^{3/2}r^{5}\log^4 n)$个随机采样的条目足以以高概率精确恢复一个$n \times n \times n$的秩-$r$张量，通过推广随机图的谱结果并证明从良好初始化出发的全局收敛性。

ABSTRACT

We study the problem of low-rank tensor factorization in the presence of missing data. We ask the following question: how many sampled entries do we need, to efficiently and exactly reconstruct a tensor with a low-rank orthogonal decomposition? We propose a novel alternating minimization based method which iteratively refines estimates of the singular vectors. We show that under certain standard assumptions, our method can recover a three-mode $n imes n imes n$ dimensional rank-$r$ tensor exactly from $O(n^{3/2} r^5 \log^4 n)$ randomly sampled entries. In the process of proving this result, we solve two challenging sub-problems for tensors with missing data. First, in the process of analyzing the initialization step, we prove a generalization of a celebrated result by Szemerédie et al. on the spectrum of random graphs. Next, we prove global convergence of alternating minimization with a good initialization. Simulations suggest that the dependence of the sample size on dimensionality $n$ is indeed tight.

研究动机与目标

• 解决仅观察到部分条目时的精确张量补全挑战，特别是针对现有方法缺乏理论保证的高阶张量。
• 在缺失数据条件下，为具有正交CP分解的低秩张量恢复建立可证明的样本复杂度边界。
• 开发一种算法，确保从良好初始化出发实现对真实分解的全局收敛，避免陷入局部极小值。
• 将随机图的谱结果推广至张量，以支持初始化步骤的分析。
• 为广泛使用但理论理解不足的张量补全中的交替最小化方法提供理论依据。

提出的方法

• 提出一种交替最小化算法，通过迭代优化张量在正交CP分解下的奇异向量（分量）估计。
• 采用一种新颖的初始化方法，基于随机采样张量的谱投影，利用Szemerédi关于随机图谱的结论的推广版本。
• 使用张量投影算子$\mathcal{P}_{\Omega}(\cdot)$将优化限制在已观测条目上，以最小化已观测张量与估计张量之间的Frobenius范数差异。
• 通过扰动界和向量偏差项($\mathbf{d}_\ell$, $\Delta^{\sigma}_\ell$)对更新步骤进行结构化分析，以控制收敛性。
• 应用浓度不等式和非相干性假设，以界定每一步的误差并确保收敛。
• 通过证明算法在真实分量的邻域内保持并每步减少误差，从而证明全局收敛性，前提是满足适当的采样条件。

实验结果

研究问题

• RQ1 在正交CP分解下，精确恢复一个低秩对称张量所需的最少随机采样条目数是多少？
• RQ2 在缺失数据条件下，能否证明张量补全的交替最小化方法从良好初始化出发具有全局收敛性？
• RQ3 如何分析随机张量的谱特性，以确保张量分解初始化的可靠性？
• RQ4 样本复杂度是否依赖于张量分量的非相干性？其随维度$n$和秩$r$的缩放关系如何？
• RQ5 能否将矩阵补全的理论保证推广至高阶张量，在缺失数据下实现可证明的恢复？

主要发现

• 所提出的交替最小化算法能够以高概率从$O(n^{3/2}r^5\log^4 n)$个随机采样的条目中，精确恢复一个三阶$n \times n \times n$秩-$r$张量的正交CP分解。
• 样本复杂度边界在总条目数($n^3$)上为次线性，使得该方法在大规模低秩张量上具有高效性。
• 初始化步骤因随机张量的广义谱结果而具有可证明的准确性，将Szemerédi关于随机图的定理推广至高阶结构。
• 在良好初始化下，证明了交替最小化的全局收敛性，误差单调递减并收敛至真实分量。
• 模拟结果证实，样本复杂度中对$n$的依赖关系是紧的，支持理论边界的实际相关性。
• 在标准非相干性假设下，该方法实现了精确恢复，这些假设控制了张量质量在条目间的集中程度。