[论文解读] Truncated nuclear norm regularization for low-rank tensor completion

Shengke Xue, Wenyuan Qiu+2 more|arXiv (Cornell University)|Jan 7, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用 4

一句话总结

本文提出了一种新型的张量截断核范数（T-TNN），用于低秩张量补全，通过张量奇异值分解（t-SVD）将矩阵层面的截断核范数扩展至张量。通过在傅里叶域中最小化各前向切片的最小奇异值之和，该方法提升了低秩逼近的精度并加速了收敛。实验表明，T-TNN在图像与视频恢复任务中均优于现有方法，实现了更高的PSNR值与更快的收敛速度，且在ADMM与APGL求解器下表现优异。

ABSTRACT

Recently, low-rank tensor completion has become increasingly attractive in recovering incomplete visual data. Considering a color image or video as a three-dimensional (3D) tensor, existing studies have put forward several definitions of tensor nuclear norm. However, they are limited and may not accurately approximate the real rank of a tensor, and they do not explicitly use the low-rank property in optimization. It is proved that the recently proposed truncated nuclear norm (TNN) can replace the traditional nuclear norm, as an improved approximation to the rank of a matrix. In this paper, we propose a new method called the tensor truncated nuclear norm (T-TNN), which suggests a new definition of tensor nuclear norm. The truncated nuclear norm is generalized from the matrix case to the tensor case. With the help of the low rankness of TNN, our approach improves the efficacy of tensor completion. We adopt the definition of the previously proposed tensor singular value decomposition, the alternating direction method of multipliers, and the accelerated proximal gradient line search method in our algorithm. Substantial experiments on real-world videos and images illustrate that the performance of our approach is better than those of previous methods.

研究动机与目标

• 为解决现有张量核范数在准确逼近张量秩方面的局限性。
• 通过将截断核范数从矩阵推广至张量，改进低秩张量补全性能。
• 在优化过程中更显式地利用低秩结构，以提升恢复性能。
• 设计一种基于t-SVD与加速求解器（ADMM、APGL）的高效算法，实现更快收敛。
• 在真实世界图像与视频数据集上，相较于最先进方法，展示出卓越的性能表现。

提出的方法

• 提出一种基于截断核范数的新张量核范数定义，在t-SVD框架下，仅最小化前向切片中最小的奇异值。
• 利用张量奇异值分解（t-SVD）将张量分解为傅里叶变换后的前向切片，从而支持奇异值操作。
• 采用交替方向乘子法（ADMM）与加速近端梯度线搜索（APGL）高效求解优化问题。
• 实施一种截断核范数正则化策略，忽略最大的r个奇异值，从而在秩逼近上优于标准核范数。
• 通过约束最小化问题求解低秩张量补全：在观测值与原始数据一致的条件下，最小化T-TNN。
• 在傅里叶域中采用类似软阈值的更新策略，以处理非凸但更紧致的秩逼近问题。

实验结果

研究问题

• RQ1 矩阵补全中的截断核范数能否被有效推广至张量情形，以实现更优的低秩逼近？
• RQ2 使用t-SVD框架是否能构建出优于现有方法（如SMNN或ATNN）的张量核范数定义？
• RQ3 相较于标准核范数或Tubal-NN，截断核范数在张量补全中如何提升收敛速度与恢复精度？
• RQ4 所提出的T-TNN方法是否能在PSNR值与收敛速度上超越当前最先进张量补全算法？
• RQ5 性能对截断奇异值个数（r）的选择是否敏感？能否提升其鲁棒性？

主要发现

• 在50%缺失条目的真实图像与视频数据集上，所提出的T-TNN方法在PSNR上全面优于所有对比方法，包括LRMC、TNNR、SMNN、ATNN与Tubal-NN。
• 采用ADMM与APGL求解器的T-TNN收敛速度显著快于Tubal-NN与LRMC，且APGL所需迭代次数少于ADMM。
• T-TNN方法的运行时间在每幅图像上始终低于40秒，速度优于Tubal-NN与LRMC，同时保持高精度。
• 视觉结果表明，T-TNN的ADMM与APGL方法重建结果更清晰，伪影更少，优于LRMC、TNNR、SMNN与ATNN，且在视觉效果上与Tubal-NN相当。
• SMNN与ATNN在某些情况下表现甚至劣于LRMC，表明其不适合作为张量核范数的定义。
• Tubal-NN虽优于SMNN与ATNN，但在PSNR与收敛速度上仍逊于所提出的T-TNN方法。