[论文解读] Scaled Nuclear Norm Minimization for Low-Rank Tensor Completion

Morteza Ashraphijuo, Xiaodong Wang|arXiv (Cornell University)|Jul 25, 2017

Tensor decomposition and applications参考文献 26被引用 4

一句话总结

该论文提出了一种张量展开的核范数加权和，以改进低TT秩张量补全，与标准核范数最小化相比，显著减少了所需样本数量。该方法通过利用TT分解展开中的结构差异，优于未加权的核范数之和与基于矩阵化的方案。

ABSTRACT

Minimizing the nuclear norm of a matrix has been shown to be very efficient in reconstructing a low-rank sampled matrix. Furthermore, minimizing the sum of nuclear norms of matricizations of a tensor has been shown to be very efficient in recovering a low-Tucker-rank sampled tensor. In this paper, we propose to recover a low-TT-rank sampled tensor by minimizing a weighted sum of nuclear norms of unfoldings of the tensor. We provide numerical results to show that our proposed method requires significantly less number of samples to recover to the original tensor in comparison with simply minimizing the sum of nuclear norms since the structure of the unfoldings in the TT tensor model is fundamentally different from that of matricizations in the Tucker tensor model.

研究动机与目标

• 解决低TT秩张量的低秩张量补全问题，该问题在现有凸松弛方法下处理效率较低。
• 克服在TT模型中最小化展开核范数之和（未加权）的局限性，该方法未能充分利用结构优势。
• 通过引入针对TT分解结构定制的加权优化公式，提升张量恢复的样本效率。
• 证明所提方法在所需采样概率方面优于未加权的核范数之和与基于矩阵化的方案。
• 提供一个理论基础坚实的凸优化框架，用于低TT秩张量补全，并实现更优的实验性能。

提出的方法

• 提出张量展开的核范数加权和作为低TT秩张量补全的优化目标。
• 将张量的第i个展开定义为通过双射映射重排张量元素形成的矩阵，同时保持TT结构。
• 使用张量训练（TT）分解将张量表示为按链连接的三路张量序列，实现低秩表示。
• 将优化问题表述为最小化这些展开的核范数加权和，权重根据TT分解的结构特性选取。
• 确保优化问题是凸的，可通过标准半定规划或一阶方法求解。
• 将所提方法与两个基线方法进行比较：展开核范数之和（未加权）与矩阵化核范数之和。

实验结果

研究问题

• RQ1 与未加权最小化相比，展开核范数的加权和是否能提升低TT秩张量补全的样本效率？
• RQ2 在TT秩张量上，所提方法与Tucker模型中矩阵化核范数之和的性能相比如何？
• RQ3 与未加权的核范数之和相比，使用所提加权公式时，所需采样概率的减少程度如何？
• RQ4 TT展开与Tucker矩阵化之间的结构差异是否导致张量恢复性能的差距？
• RQ5 所提方法是否能在低于现有凸松弛方法的采样率下，实现比TT秩张量现有方法更低的重建误差？

主要发现

• 对于TT秩为(1,4,2,2)的五维张量，所提方法在采样概率p=0.32时达到1%的重建误差，而未加权核范数之和方法需p=0.42，样本需求减少23.8%。
• 对于TT秩为(3,9,10,2)的五维张量，所提方法在p=0.18时达到1%误差，而未加权方法需p=0.25，采样需求减少28%。
• 对于TT秩为(1,5,15,10,3)的六维张量，所提方法在p=0.12时达到1%误差，而未加权方法需p=0.18，采样需求减少33.3%。
• 未加权的展开核范数之和表现显著劣于所提方法，尤其在低采样率下更为明显。
• 矩阵化核范数之和在所有实验中表现极差，表明基于Tucker的方法不适用于TT秩张量。
• 所提加权核范数最小化方法在较低采样概率下，重建精度始终优于两个基线方法，展现出更优的样本效率。