[论文解读] Rank Minimization on Tensor Ring: A New Paradigm in Scalable Tensor Decomposition and Completion

Longhao Yuan, Chao Li+3 more|arXiv (Cornell University)|May 22, 2018

Tensor decomposition and applications参考文献 1被引用 7

一句话总结

本文提出了一种基于张量环（TR）分解的新型张量补全框架，通过在TR因子上使用凸近似来最小化秩，从而实现高效低秩建模，且无需大规模奇异值分解（SVD）。TR-OLRF与TR-LLRF模型通过交替方向乘子法（ADMM）求解，在合成数据与真实世界数据上均实现了高精度与高效率，对秩选择与超参数具有鲁棒性。

ABSTRACT

In low-rank tensor completion tasks, due to the underlying multiple large-scale singular value decomposition (SVD) operations and rank selection problem of the traditional methods, they suffer from high computational cost and high sensitivity of model complexity. In this paper, taking advantages of high compressibility of the recently proposed tensor ring (TR) decomposition, we propose a new model for tensor completion problem. This is achieved through introducing convex surrogates of tensor low-rank assumption on latent tensor ring factors, which makes it possible for the Schatten norm regularization based models to be solved at much smaller scale. We propose two algorithms which apply different structured Schatten norms on tensor ring factors respectively. By the alternating direction method of multipliers (ADMM) scheme, the tensor ring factors and the predicted tensor can be optimized simultaneously. The experiments on synthetic data and real-world data show the high performance and efficiency of the proposed approach.

研究动机与目标

• 解决传统张量补全方法中计算成本高与秩敏感的问题。
• 克服基于Schatten范数的张量补全中奇异值分解（SVD）的指数级复杂度问题。
• 利用张量环（TR）分解的可压缩性，实现可扩展的低秩建模。
• 开发一种无需预先指定张量秩的鲁棒且高效的张量补全框架。
• 通过在TR因子上施加凸正则化，实现有效的张量补全。

提出的方法

• 在潜在张量环（TR）因子上引入低秩假设的凸近似，以替代直接的张量秩最小化。
• 提出两种模型：TR-OLRF（重叠）与TR-LLRF（潜在），用于对TR因子施加Schatten范数正则化。
• 应用交替方向乘子法（ADMM）联合优化TR因子与预测张量。
• 在TR因子上使用结构化Schatten范数，以在降低计算成本的同时实现可扩展的优化。
• 在ADMM框架下，以交替迭代的方式优化TR因子与重构张量。
• 通过系统化的调参程序（算法1与2）设置超参数，以确保稳定性和性能。

实验结果

研究问题

• RQ1 是否可以在无需大规模SVD操作的情况下，高效实现低秩张量补全？
• RQ2 对TR因子施加凸正则化是否能够替代直接的张量秩最小化，同时保持精度？
• RQ3 所提方法在不同缺失率与张量维度下的表现如何？
• RQ4 该方法对秩选择与超参数调优是否具有鲁棒性？
• RQ5 基于TR的模型是否能够超越现有最先进张量补全算法？

主要发现

• 所提出的TR-OLRF与TR-LLRF算法在所有缺失率下均实现了合成张量的最低相对平方误差（RSE），优于四种最先进方法。
• 对于四阶与六阶合成张量，即使在90%缺失率下，算法仍保持低RSE（低于0.05），表现出高度鲁棒性。
• 在90%缺失条目下，高光谱图像中TR-OLRF与TR-LLRF的RSE分别为0.0677与0.0681，显著低于TT-SiLRTC（0.4572）与BCPF（0.3750）。
• 算法对TR秩选择具有鲁棒性：当子空间投影比（SSR）接近真实值时，RSE保持稳定，且在过估计或欠估计时性能未显著下降。
• 算法对超参数λ也具有鲁棒性：在合成实验中，三种测试的λ值下RSE均保持较低水平。
• TR-OLRF与TR-LLRF在不到一半的时间内（756秒与988秒 vs 1891秒）实现了与TR-ALS相当或更优的结果，证明了其卓越的效率。