[论文解读] Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements

Tian Tong, Cong Ma+3 more|arXiv (Cornell University)|Apr 29, 2021

Tensor decomposition and applications参考文献 86被引用 16

一句话总结

该论文提出 ScaledGD，一种用于从不完整测量中进行低秩张量估计的可证明收敛的非凸优化算法，采用 Tucker 分解。其样本复杂度为 $n^{3/2}$ 量级，与条件数无关，实现线性收敛，相比先前方法具有更高的可扩展性并能有效抵抗病态条件的影响。

ABSTRACT

Tensors, which provide a powerful and flexible model for representing multi-attribute data and multi-way interactions, play an indispensable role in modern data science across various fields in science and engineering. A fundamental task is to faithfully recover the tensor from highly incomplete measurements in a statistically and computationally efficient manner. Harnessing the low-rank structure of tensors in the Tucker decomposition, this paper develops a scaled gradient descent (ScaledGD) algorithm to directly recover the tensor factors with tailored spectral initializations, and shows that it provably converges at a linear rate independent of the condition number of the ground truth tensor for two canonical problems -- tensor completion and tensor regression -- as soon as the sample size is above the order of $n^{3/2}$ ignoring other parameter dependencies, where $n$ is the dimension of the tensor. This leads to an extremely scalable approach to low-rank tensor estimation compared with prior art, which suffers from at least one of the following drawbacks: extreme sensitivity to ill-conditioning, high per-iteration costs in terms of memory and computation, or poor sample complexity guarantees. To the best of our knowledge, ScaledGD is the first algorithm that achieves near-optimal statistical and computational complexities simultaneously for low-rank tensor completion with the Tucker decomposition. Our algorithm highlights the power of appropriate preconditioning in accelerating nonconvex statistical estimation, where the iteration-varying preconditioners promote desirable invariance properties of the trajectory with respect to the underlying symmetry in low-rank tensor factorization.

研究动机与目标

• 为在统计和计算上高效地从高度不完整的测量中恢复低秩张量提供解决方案。
• 克服先前方法的局限性，如对病态条件的敏感性、每轮迭代成本高以及样本复杂度保证不足。
• 开发一种算法，同时实现低秩张量补全与回归任务中近乎最优的统计与计算复杂度。
• 建立在 Tucker 分解下，对非凸优化实现可证明的线性收敛，并采用量身定制的谱初始化。

提出的方法

• 提出 ScaledGD，一种带有随迭代变化的预条件矩阵的缩放梯度下降算法，以促进对低秩张量因子分解对称性的不变性。
• 采用量身定制的谱初始化，将张量因子初始化为接近真实值，从而实现局部收敛。
• 使用缩放距离度量来衡量进展，确保收敛性与真实张量的条件数无关。
• 应用浓度不等式与扰动界，在随机采样条件下控制估计误差。
• 通过分析真实张量因子邻域内 Hessian 与梯度的行为，推导收敛保证。
• 将该方法推广至 Tucker 分解框架下的张量补全与张量回归问题。

实验结果

研究问题

• RQ1 非凸优化方法能否在不依赖真实张量条件数的前提下，实现低秩张量估计的线性收敛？
• RQ2 通过非凸优化实现低秩张量可证明恢复所需的最小样本复杂度是多少？
• RQ3 预条件化如何在病态条件下提升非凸张量估计中的收敛性与鲁棒性？
• RQ4 谱初始化能否在张量补全与回归中确保局部收敛并实现近乎最优的样本复杂度？
• RQ5 是否可能在低秩张量估计中同时实现最优的统计与计算复杂度？

主要发现

• ScaledGD 实现了与真实张量条件数无关的线性收敛速率，确保对病态条件的鲁棒性。
• 该算法在张量补全与回归中仅需 $O(n^{3/2})$ 个样本（对数因子内）即可实现可证明恢复，达到近乎最优的样本复杂度。
• 收敛性可由谱初始化保证，该初始化被证明以高概率接近真实因子。
• 该方法通过避免高昂的每轮迭代成本并保持退化或条件不良情况下的稳定性，优于先前方法。
• 理论分析证实，随迭代变化的预条件矩阵可诱导出理想的不变性特性，从而加速收敛。
• 实验结果验证了理论发现，表明在合成与真实世界张量恢复任务中均表现出快速且稳定的收敛性能。