[论文解读] Tensor Completion Made Practical

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Jun 4, 2020

Tensor decomposition and applications参考文献 30被引用 4

一句话总结

本文提出了一种新型的张量补全交替最小化变体——Kronecker Completion，即使在因子高度相关的情况下，也能实现对真实张量的线性收敛，具有可证明的保证和近乎线性的时间复杂度。与标准交替最小化方法在实践中可能收敛缓慢或发散不同，Kronecker Completion通过借鉴矩阵补全中进展度量的结构化更新规则，实现了对三阶张量的快速、稳定恢复，即使在稀疏观测下（例如，1000×1000×1000的高维设置）也仅需极少数据。

ABSTRACT

Tensor completion is a natural higher-order generalization of matrix completion where the goal is to recover a low-rank tensor from sparse observations of its entries. Existing algorithms are either heuristic without provable guarantees, based on solving large semidefinite programs which are impractical to run, or make strong assumptions such as requiring the factors to be nearly orthogonal. In this paper we introduce a new variant of alternating minimization, which in turn is inspired by understanding how the progress measures that guide convergence of alternating minimization in the matrix setting need to be adapted to the tensor setting. We show strong provable guarantees, including showing that our algorithm converges linearly to the true tensors even when the factors are highly correlated and can be implemented in nearly linear time. Moreover our algorithm is also highly practical and we show that we can complete third order tensors with a thousand dimensions from observing a tiny fraction of its entries. In contrast, and somewhat surprisingly, we show that the standard version of alternating minimization, without our new twist, can converge at a drastically slower rate in practice.

研究动机与目标

• 弥合理论张量补全算法（通常因大规模半定规划而不切实际）与实际方法（如交替最小化）之间的差距，后者缺乏严格的收敛保证。
• 克服标准交替最小化方法的局限性，该方法在因子相关时可能收敛缓慢或表现出病态行为（例如，观测数据越多收敛越慢）。
• 开发一种在现实假设下（包括非正交和高度相关的因子）可证明收敛且实用的张量补全算法。
• 证明该算法能够高效扩展至高维张量（如1000×1000×1000），仅需极少数观测条目。
• 表明该算法在合成数据和真实世界场景中，即使在噪声条件下，其收敛速度也显著快于标准交替最小化方法。

提出的方法

• 提出一种新型交替最小化变体——Kronecker Completion，通过引入对Hessian矩阵的结构化低秩近似来改进更新规则，以更好地捕捉张量空间中的曲率。
• 将矩阵补全中的进展度量方法适配到张量设置中，通过重新加权优化子问题以考虑因子相关性，确保稳定且快速的收敛。
• 在每次交替最小化步骤中采用子采样策略，即每轮仅使用观测条目的随机子集，从而提升稳定性和收敛速度。
• 保持三个大小为n×r的因子矩阵（X, Y, Z），并通过仅基于观测条目的小规模最小二乘问题顺序更新，实现每轮近乎线性的时间复杂度。
• 将优化子问题表述为在观测条目上最小化平方误差：$\min_{z_1,\dots,z_r} \left\| (T - \sum_{i=1}^r \widehat{x}_i \otimes \widehat{y}_i \otimes z_i) \big|_S \right\|_2^2 $，并由新的进展度量指导更新。
• 在Hessian近似中引入Kronecker结构，以改善条件并加速收敛，尤其在因子相关时效果显著。

实验结果

研究问题

• RQ1 我们能否设计一种具有可证明线性收敛保证的张量补全算法，使其在因子高度相关时仍能有效工作？这种情形在现实应用中很常见。
• RQ2 一种受矩阵补全进展度量启发的改进交替最小化方案，是否在理论和实践中均优于标准交替最小化方法？
• RQ3 我们能否在保持强收敛性和准确性的前提下，实现张量补全的近乎线性时间复杂度，即使在观测稀疏时也成立？
• RQ4 该算法在噪声条件下的表现如何？其误差是否与样本量呈近似最优的缩放关系？
• RQ5 为何标准交替最小化方法在因子相关设置下会失效或表现出反直觉的行为（例如，数据越多收敛越慢）？这一问题能否被解决？

主要发现

• Kronecker Completion 即使在因子高度相关的情况下，也能实现对真实张量的线性收敛，而标准交替最小化方法在此类情形下无法收敛或收敛极其缓慢。
• 对于仅观测到50,000至200,000个条目的1000×1000×1000张量，Kronecker Completion 仅需约30次迭代即可收敛，而标准交替最小化方法在1,000次迭代后仍无法将误差收敛至零。
• 在条目上存在10%独立同分布噪声的情况下，Kronecker Completion 和标准交替最小化方法的误差均低于噪声水平，且误差随样本数的平方根衰减，表明其性能接近最优。
• Kronecker Completion 的样本复杂度呈$ n^{3/2} $量级，与理论下界一致；而标准交替最小化方法难以扩展至大张量，且在观测数量增加时表现出病态行为。
• 子采样可提升标准交替最小化方法的稳定性和收敛性，但其改善不足以克服因子相关性下的根本不稳定性，而Kronecker Completion成功解决了该问题。
• 在相关张量的实验中，Kronecker Completion 在收敛速度和最终误差方面始终优于标准交替最小化方法，即使后者运行了10倍的迭代次数。