[论文解读] Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion

Longhao Yuan, Chao Li+3 more|arXiv (Cornell University)|Sep 7, 2018

Tensor decomposition and applications参考文献 29被引用 14

一句话总结

该论文提出了一种高效的张量补全方法——张量环低秩因子（TRLRF），通过在张量环（TR）分解的潜在空间中应用核范数正则化，实现无需手动选择TR秩的鲁棒低秩建模。通过使用ADMM对小规模潜在因子进行SVD，TRLRF在高缺失率和不同张量阶数下，相较于最先进方法展现出更优的准确率和计算效率。

ABSTRACT

In tensor completion tasks, the traditional low-rank tensor decomposition models suffer from the laborious model selection problem due to their high model sensitivity. In particular, for tensor ring (TR) decomposition, the number of model possibilities grows exponentially with the tensor order, which makes it rather challenging to find the optimal TR decomposition. In this paper, by exploiting the low-rank structure of the TR latent space, we propose a novel tensor completion method which is robust to model selection. In contrast to imposing the low-rank constraint on the data space, we introduce nuclear norm regularization on the latent TR factors, resulting in the optimization step using singular value decomposition (SVD) being performed at a much smaller scale. By leveraging the alternating direction method of multipliers (ADMM) scheme, the latent TR factors with optimal rank and the recovered tensor can be obtained simultaneously. Our proposed algorithm is shown to effectively alleviate the burden of TR-rank selection, thereby greatly reducing the computational cost. The extensive experimental results on both synthetic and real-world data demonstrate the superior performance and efficiency of the proposed approach against the state-of-the-art algorithms.

研究动机与目标

• 为解决传统张量补全方法对TR秩选择的高敏感性问题，该问题常导致计算成本过高和性能不稳定。
• 通过将低秩约束从数据空间转移到更小规模的潜在TR因子空间，降低计算复杂度。
• 开发一种方法，可同时学习最优TR秩并恢复缺失的张量元素，而无需依赖真实秩的先验知识。
• 提升张量补全的性能稳定性与效率，尤其在高缺失率和高阶张量场景下。

提出的方法

• 该方法在原始张量之外，对潜在TR因子施加核范数正则化，从而在更小规模的矩阵上实现低秩约束。
• 将张量补全问题建模为一个优化问题，通过交替方向乘子法（ADMM）联合学习TR分解并恢复缺失条目。
• ADMM框架支持对TR因子和恢复张量进行高效交替更新，且仅对小规模潜在因子执行SVD，从而提升计算效率。
• 建立了多线性张量秩与TR因子秩之间的理论联系，实现在潜在空间中隐式施加低秩约束。
• 由于正则化机制，该算法对初始TR秩设置错误具有鲁棒性，确保在模型误设情况下性能依然稳定。
• 该方法具有通用性，可扩展至TR以外的其他张量分解框架。

实验结果

研究问题

• RQ1 在潜在TR空间中施加低秩约束，能否提升张量补全对TR秩选择的鲁棒性？
• RQ2 在小规模潜在因子上执行SVD，而非在大规模张量展开上执行，能否在保持或提升准确率的同时降低计算成本？
• RQ3 与最先进算法相比，该方法在高缺失率和不同张量阶数下的表现如何？
• RQ4 该方法能否自动学习最优张量秩，而无需交叉验证或先验知识？

主要发现

• 在所有测试的合成数据集和真实世界数据集中，TRLRF在RSE和PSNR指标上均表现最佳，尤其在高缺失率（如0.9和0.95）下优势显著。
• 在高阶（Rn=12）三阶高光谱图像补全任务中，TRLRF的RSE为0.06548，优于TRALS（0.07049）、TRWOPT（0.06695）和FBCP（0.2363）。
• 当TR秩设为8（低秩）时，TRLRF保持稳定性能（RSE=0.1166），而TRALS和TRWOPT性能显著下降，表明其对秩误设具有鲁棒性。
• 对于五阶和八阶张量，TRLRF在不同秩下均保持一致性能，而TRALS和TMac随秩增加性能下降，表明基线方法存在过拟合现象。
• 在0.9缺失率下，TRLRF保持最高PSNR和最低RSE，视觉结果表明其在高光谱图像通道中能更优地恢复细节。
• 该方法通过避免在张量展开上执行大规模SVD，仅依赖对小规模潜在因子的SVD，展现出优异的计算效率。