[论文解读] T-Singular Values and T-Sketching for Third Order Tensors

Liqun Qi, Gaohang Yu|arXiv (Cornell University)|Mar 1, 2021

Tensor decomposition and applications参考文献 17被引用 13

一句话总结

该论文提出了张量的T-奇异值和T-草图化方法，基于张量管秩和T-SVD，通过单遍算法实现高效的低秩近似。与完整T-SVD相比，该方法在谱衰减的张量上显著减少了运行时间，同时保持了具有竞争力的精度。

ABSTRACT

Based upon the T-SVD (tensor SVD) of third order tensors, introduced by Kilmer and her collaborators, we define T-singular values of third order tensors. T-singular values of third order tensors are nonnegative scalars. The number of nonzero T-singular values is the tensor tubal rank of the tensor. We then use T-singular values to define the tail energy of a third order tensor, and apply it to the error estimation of a tensor sketching algorithm for low rank tensor approximation. Numerical experiments on real world data show that our algorithm is efficient.

研究动机与目标

• 基于T-SVD为三阶张量定义T-奇异值，确保其为非负标量，且数量等于张量管秩。
• 利用T-奇异值定义张量的尾部能量，用于低秩近似中的误差估计。
• 通过T-积运算的随机投影，开发一种基于单遍张量草图的算法。
• 基于T-奇异值和尾部能量，建立所提草图化算法的概率误差界。
• 在合成数据和真实世界数据（包括图像和视频）上展示该方法的效率和精度。

提出的方法

• 将T-奇异值定义为三阶张量T-SVD分解中f-对角张量的非负标量。
• 将尾部能量定义为超过给定秩后最小的T-奇异值的平方和，用于界定近似误差。
• 通过两个独立的标准正态张量 $χ \in \mathbb{R}^{n\times k\times p}$ 和 $\mathcal{C} \in \mathbb{R}^{l\times m\times p}$ 构建张量草图，利用T-积计算 $\mathcal{Y} = \mathcal{A} * \mathcal{B}$ 和 $\mathcal{W} = \mathcal{C} * \mathcal{A}$。
• 执行T-正交三角分解 $\mathcal{Y} = \mathcal{Q} * \mathcal{R}$，其中 $\mathcal{Q}$ 为部分正交，$\mathcal{R}$ 为f-上三角。
• 求解最小二乘问题 $\mathcal{X} = (\mathcal{C} * \mathcal{Q})^\dagger * \mathcal{W}$ 以获得中间张量。
• 通过 $\hat{\mathcal{A}} = \mathcal{Q} * \mathcal{X}$ 重建低秩近似，实现张量管秩 $k$。

实验结果

研究问题

• RQ1 T-奇异值能否以与矩阵奇异值框架一致的方式定义，并反映张量管秩？
• RQ2 基于T-奇异值的尾部能量如何用于估计低秩张量近似的误差？
• RQ3 能否通过T-积运算的单遍张量草图算法，实现与完整T-SVD相当的近似精度，同时显著降低计算成本？
• RQ4 在谱衰减的张量上，所提T-草图化方法与rt-SVD算法相比，在精度、运行时间和存储效率方面表现如何？

主要发现

• 对于HDU彩色图像，当 $k=200$ 时，T-草图化算法的相对误差低于 $10^{-5}$；当 $k=600$ 时，相对误差低于 $10^{-8}$，表明实现了高保真度的低秩近似。
• 对于HDU图像，当 $k=200$ 时PSNR达到26.27，当 $k=600$ 时达到38.72，表明压缩质量接近无损。
• 由于避免了完整T-SVD计算，T-草图化方法比rt-SVD方法快3至5倍，在合成数据和真实世界数据上精度相当。
• 对于具有快速指数衰减的张量，T-草图化方法在 $k=30$ 时即达到最优低秩近似，显示出对快速衰减谱的强收敛性。
• 在所有测试案例中，包括视频数据（144×176×30张量），该方法的精度与rt-SVD相当，同时使用更少的存储和计算资源。
• 基于尾部能量推导的概率误差界能有效预测近似误差，验证了该方法的理论基础。