[论文解读] Tensor-Tensor Product Toolbox

Canyi Lu|arXiv (Cornell University)|Jun 17, 2018

Tensor decomposition and applications参考文献 1被引用 13

一句话总结

本论文介绍了张量-张量积工具箱（Tensor-Tensor Product Toolbox），这是一个基于t-积（t-product）的MATLAB实现，用于高效计算张量运算。t-积是一种基于快速傅里叶变换（FFT）的卷积类似乘法。该工具箱支持张量奇异值分解（t-SVD）、张量核范数以及近端算子的计算，主要贡献包括一种高效的t-SVD算法，以及通过张量奇异值阈值化（t-SVT）实现张量低秩优化的闭式解。

ABSTRACT

The tensor-tensor product (t-product) [M. E. Kilmer and C. D. Martin, 2011] is a natural generalization of matrix multiplication. Based on t-product, many operations on matrix can be extended to tensor cases, including tensor SVD, tensor spectral norm, tensor nuclear norm [C. Lu, et al., 2018] and many others. The linear algebraic structure of tensors are similar to the matrix cases. We develop a Matlab toolbox to implement several basic operations on tensors based on t-product. The toolbox is available at https://github.com/canyilu/tproduct.

研究动机与目标

• 为基于t-积的3阶张量提供一种实用且高效的张量代数运算实现。
• 以较低的计算成本支持张量奇异值分解（t-SVD）和张量核范数的计算。
• 通过近端算子支持低秩张量优化任务，如鲁棒PCA。
• 为未来扩展至p阶张量及Python实现提供基础。

提出的方法

• 使用t-积，一种通过离散傅里叶变换（DFT）和FFT定义的卷积类似张量乘法，以提高效率。
• 利用块循环矩阵（bcirc）和块对角化矩阵（bdiag）将张量运算与傅里叶域中的矩阵运算关联起来。
• 通过在傅里叶变换后的张量的每个前向切片上应用SVD，并通过逆变换重构，来计算t-SVD。
• 通过FFT和奇异值的软阈值化，利用闭式解实现张量奇异值阈值化（t-SVT）。
• 利用DFT的对称性特性（如共轭对称性）减少计算量并确保输出为实数。
• 在t-积框架下实现核心运算，包括张量逆、张量QR分解以及张量谱范数/核范数。

实验结果

研究问题

• RQ1 如何利用t-积框架高效计算张量代数运算？
• RQ2 如何最高效地计算3阶张量的张量SVD（t-SVD）？
• RQ3 张量核范数及其近端算子能否在闭式下求解，以支持低秩张量优化？
• RQ4 t-积如何用于将基于矩阵的算法（如QR分解和SVD）推广至张量？
• RQ5 在实践中，t-积及其相关运算的计算与数值特性如何？

主要发现

• t-SVD算法通过在FFT变换后的张量的每个前向切片上应用SVD，并通过逆FFT重构，实现了高效计算。
• 张量核范数被计算为t-SVD分解中第一个前向切片对角线元素之和，其近端算子可通过t-SVT以闭式求解。
• 张量核范数的近端算子通过FFT和软阈值化高效计算，其中算法3（t-SVT）提供了可扩展的解决方案。
• 张量谱范数等价于张量的块循环矩阵的谱范数，且两种范数在傅里叶变换下保持不变。
• 该工具箱支持关键张量运算，包括t-prod、tinv、tsvd、tnn和tqr，test.m文件验证了其正确性。
• 通过利用DFT的共轭对称性，该方法在减少冗余计算的同时确保了数值稳定性和高效性。