[论文解读] Tensor Q-Rank: A New Data Dependent Tensor Rank.

Hao Kong, Zhouchen Lin|arXiv (Cornell University)|Oct 26, 2019

Tensor decomposition and applications参考文献 25被引用 5

一句话总结

本文提出张量 Q-秩，一种通过列正交矩阵 𝒬 定义的数据相关张量秩，可自适应复杂数据结构。通过使 𝒬 从数据中可学习，并采用可解释的选择方法，该方法在高采样率和复杂数据模式下，相比传统管秩（tubal-rank）方法，实现了更低秩的表示，显著提升了低秩张量补全性能。

ABSTRACT

Recently, the extit{Tensor Nuclear Norm~(TNN)} regularization based on t-SVD has been widely used in various low tubal-rank tensor recovery tasks. However, these models usually require smooth change of data along the third dimension to ensure their low rank structures. In this paper, we propose a new definition of tensor rank named extit{tensor Q-rank} by a column orthonormal matrix $\mathbf{Q}$, and further make $\mathbf{Q}$ data-dependent. We introduce an explainable selection method of $\mathbf{Q}$, under which the data tensor may have a more significant low tensor Q-rank structure than that of low tubal-rank structure. We also provide a corresponding envelope of our rank function and apply it to the low rank tensor completion problem. Then we give an effective algorithm and briefly analyze why our method works better than TNN based methods in the case of complex data with low sampling rate. Finally, experimental results on real-world datasets demonstrate the superiority of our proposed model in the tensor completion problem.

研究动机与目标

• 为解决张量核范数（TNN）在处理第三维具有非平滑变化的复杂数据时的局限性。
• 提出一种数据依赖的新型张量秩定义，以更好地捕捉真实世界张量数据中的低秩结构。
• 设计一种可解释的 𝒬 正交矩阵选择方法，以增强低秩表示能力。
• 为所提出的秩函数提供凸包络，以实现张量补全中的实用优化。
• 在低采样率条件下，证明所提方法在低秩张量补全中优于基于 TNN 的方法。

提出的方法

• 提出张量 Q-秩作为新型张量秩，利用列正交矩阵 𝒬，其秩通过 Q 变换后张量的非零奇异值数量定义。
• 通过从输入张量中学习 𝒬，使 𝒬 具备数据依赖性，以更好地捕捉内在低秩结构。
• 提出一种基于数据特征的可解释 𝒬 选择策略，确保可解释性并提升低秩表示性能。
• 推导张量 Q-秩函数的凸包络，以支持低秩张量补全中的高效优化。
• 基于凸包络设计有效算法，求解张量补全问题并保证收敛性。
• 采用邻近交替方向乘子法（ADMM）框架，高效求解优化问题。

实验结果

研究问题

• RQ1 数据依赖的张量秩能否在捕捉复杂非平滑数据中的低秩模式方面优于标准管秩结构？
• RQ2 如何选择正交矩阵 𝒬，使其既可解释又可自适应数据的内在结构？
• RQ3 在低采样率下，所提出的张量 Q-秩是否能显著提升低秩张量补全性能，优于基于 TNN 的方法？
• RQ4 张量 Q-秩函数的凸包络具有何种理论依据？其如何支持有效优化？
• RQ5 在何种场景下，数据依赖的 𝒬 相较于固定或预定义的变换具有显著优势？

主要发现

• 对于第三维具有非平滑变化的复杂数据，所提出的张量 Q-秩在实现显著更低秩表示方面优于管秩。
• 数据依赖的 𝒬 选择方法显著增强了低秩结构检测能力，尤其在 TNN 因数据非均匀或突变变化而失效的场景中。
• 张量 Q-秩的凸包络支持高效稳定的优化，使张量补全任务实现更快收敛。
• 在真实世界数据集上的实验结果表明，所提方法在恢复精度方面优于基于 TNN 的模型，尤其在低采样率下表现更优。
• 与现有低秩张量恢复技术相比，该方法在处理具有复杂非平滑结构的真实世界张量数据时展现出更强的鲁棒性和优越性。