[论文解读] Tensor Completion via Tensor QR Decomposition and $L_{2,1}$-Norm Minimization

Yongming Zheng, An-Bao Xu|arXiv (Cornell University)|Nov 9, 2020

Tensor decomposition and applications参考文献 25被引用 4

一句话总结

该论文提出TLNM-TQR，一种快速且准确的张量补全方法，其用基于张量QR分解的近似t-SVD（CTSVD-QR）替代了张量奇异值分解（t-SVD），并采用张量$L_{2,1}$-范数最小化替代张量核范数。该方法在计算速度上显著提升，同时保持了与现有最优算法相当的恢复精度，在视频和彩色图像数据集上均表现出更快的处理速度，优于ADMM-t-SVD等先进算法，且恢复精度保持较高水平。

ABSTRACT

In this paper, we consider the tensor completion problem, which has many researchers in the machine learning particularly concerned. Our fast and precise method is built on extending the $L_{2,1}$-norm minimization and Qatar Riyal decomposition (LNM-QR) method for matrix completions to tensor completions, and is different from the popular tensor completion methods using the tensor singular value decomposition (t-SVD). In terms of shortening the computing time, t-SVD is replaced with the method computing an approximate t-SVD based on Qatar Riyal decomposition (CTSVD-QR), which can be used to compute the largest $r \left(r>0 ight)$ singular values (tubes) and their associated singular vectors (of tubes) iteratively. We, in addition, use the tensor $L_{2,1}$-norm instead of the tensor nuclear norm to minimize our model on account of it is easy to optimize. Then in terms of improving accuracy, ADMM, a gradient-search-based method, plays a crucial part in our method. Numerical experimental results show that our method is faster than those state-of-the-art algorithms and have excellent accuracy.

研究动机与目标

• 为解决张量奇异值分解（t-SVD）在张量补全中计算成本过高的问题，该问题限制了其可扩展性与处理速度。
• 通过利用QR分解实现近似t-SVD计算，提出一种更快的t-SVD替代方法，命名为CTSVD-QR。
• 用更易于优化的张量$L_{2,1}$-范数替代张量核范数，以提升计算效率。
• 设计一个统一框架，结合CTSVD-QR与$L_{2,1}$-范数最小化，实现高效且准确的张量补全。
• 在合成数据与真实世界数据（包括视频与彩色图像恢复）上验证所提方法，覆盖不同缺失比例与张量尺寸。

提出的方法

• 提出CTSVD-QR方法，通过张量QR分解迭代计算最大的$r$个奇异值（张量管）及其对应的奇异向量（管向量），替代计算量大的t-SVD。
• 引入一种新的张量$L_{2,1}$-范数，定义为每个管的$L_2$-范数之和，作为管秩的凸近似，相较于张量核范数更易于优化。
• 证明张量核范数是张量$L_{2,1}$-范数的下界，从而为在低秩张量逼近中使用该范数作为有效替代提供理论依据。
• 在ADMM优化框架下，结合CTSVD-QR与$L_{2,1}$-范数最小化，构建TLNM-TQR算法以求解张量补全问题。
• 采用ADMM高效求解子问题，实现快速收敛与在多种张量结构下的稳定性能。
• 通过约束优化模型应用该方法进行张量补全：$\min_{\mathcal{X}} \|\mathcal{X}\|_{2,1} \text{ s.t. } \mathcal{X}_{i,j,k} = \mathcal{M}_{i,j,k}, (i,j,k) \in \Omega$，其中$\mathcal{M}$为观测到的不完整张量。

实验结果

研究问题

• RQ1 能否开发一种基于QR分解的t-SVD近似方法，使其在张量补全任务中显著快于传统t-SVD，同时保持精度？
• RQ2 与张量核范数相比，张量$L_{2,1}$-范数是否能作为管秩更高效且更有效的凸近似？
• RQ3 CTSVD-QR与$L_{2,1}$-范数最小化的结合是否能带来比现有最先进方法更快、更准确的张量补全算法？
• RQ4 在真实应用如视频与图像恢复中，该方法在不同缺失比例与张量维度下的表现如何？
• RQ5 在高维张量数据（如视频序列与彩色图像）上，该方法是否具备鲁棒性与可扩展性？

主要发现

• 在彩色图像恢复任务中，TLNM-TQR的平均运行时间为2.4336秒，显著快于ADMM-t-SVD（22.8229秒）与HoMP（24.1802秒）。
• 在50%缺失数据的视频数据集上，TLNM-TQR的RMSE为11.0136，几乎与ADMM-t-SVD（12.2161）持平，且优于HoMP与ELRAP4TS。
• 随着前向切片数量从2增加到40，TLNM-TQR的运行时间增长速率低于其他方法，表明其具有更优的可扩展性。
• 在添加高斯噪声与模糊噪声的彩色图像恢复任务中，TLNM-TQR的平均RMSE最低（22.1667），在精度上优于ADMM-t-SVD（19.7492）与HoMP（17.1329）。
• 在30%至90%的缺失比例范围内，该方法保持高精度与低运行时间，且在50次重复实验中结果方差极小，表现稳定。
• 数值实验验证了CTSVD-QR相比t-SVD显著减少了迭代时间，且$L_{2,1}$-范数有助于更快优化，从而验证了该框架核心设计的合理性。