[论文解读] Tensor Deflation for CANDECOMP/PARAFAC. Part 3: Rank Splitting

Anh Huy Phan, Petr Tichavský+1 more|arXiv (Cornell University)|Jun 16, 2015

Tensor decomposition and applications参考文献 16被引用 4

一句话总结

本文提出了一种用于CPD（CANDECOMP/PARAFAC）的块张量降秩方法，可从秩-R张量中同时提取两个秩-1分量（即一个三线性秩-(2,2,2)张量），将张量秩降低2。该方法采用交替子空间更新（ASU）算法，每模式仅需估计4个向量和2个标量，每轮迭代的复杂度为O(R³)，相比标准ALS算法在秩-R张量上的计算成本显著降低。

ABSTRACT

CANDECOMP/PARAFAC (CPD) approximates multiway data by sum of rank-1 tensors. Our recent study has presented a method to rank-1 tensor deflation, i.e. sequential extraction of the rank-1 components. In this paper, we extend the method to block deflation problem. When at least two factor matrices have full column rank, one can extract two rank-1 tensors simultaneously, and rank of the data tensor is reduced by 2. For decomposition of order-3 tensors of size R x R x R and rank-R, the block deflation has a complexity of O(R^3) per iteration which is lower than the cost O(R^4) of the ALS algorithm for the overall CPD.

研究动机与目标

• 为解决高阶张量分解中顺序秩-1降秩的局限性，即通常无法逐个提取秩-1分量的问题。
• 开发一种方法，使得当至少两个因子矩阵具有满列秩时，能够同时提取两个秩-1分量（即块降秩）。
• 针对大小为R×R×R、秩为R的三阶张量，通过提出一种复杂度为O(R³)的块降秩算法，将当前ALS算法的O(R⁴)复杂度降低。

提出的方法

• 通过将秩-R张量分解为一个三线性秩-(2,2,2)张量与一个剩余秩-(R−2,R−2,R−2)张量的和，构建块张量降秩问题。
• 引入一种交替子空间更新（ASU）算法，每模式估计两组因子向量（共4个向量）和两个标量，以表示块分量。
• 利用2×2×2张量可闭式分解的特性，实现从块张量中直接提取两个秩-1分量。
• 通过正交投影和子空间约束，确保提取的分量正交，且剩余张量保持较低秩。
• 基于Tucker和Kruskal张量表示法表达块分量，并在因子矩阵满列秩条件下保证分解的唯一性。
• 通过避免完整CPD迭代，转而求解每轮迭代的低维子问题，实现计算效率的提升。

实验结果

研究问题

• RQ1 能否从高秩张量中同时提取两个秩-1分量，而非逐个进行？
• RQ2 与标准ALS算法相比，该块降秩方法的计算复杂度如何？
• RQ3 在何种条件下，该块降秩方法能保证分解的唯一性和稳定性？
• RQ4 与现有CPD算法相比，该方法在大小为R×R×R、秩为R的张量上的精度和效率表现如何？
• RQ5 该块降秩方法能否推广至更高阶张量或其他张量格式？

主要发现

• 所提出的块降秩算法在大小为R×R×R、秩为R的三阶张量上，每轮迭代的计算复杂度为O(R³)，低于标准ALS算法的O(R⁴)复杂度。
• 该方法每模式仅需4个向量和2个标量，相比完整CPD算法显著降低了内存和计算成本。
• 当提取块分量的因子矩阵具有满列秩时，分解被保证唯一。
• 降秩后的剩余张量秩保持为(R−2)，证实了块降秩确实将张量秩降低了2。
• 通过2×2×2张量的闭式解，可直接提取两个秩-1分量，确保了数值稳定性和计算效率。
• 理论分析表明，提取的三线性秩-(2,2,2)张量与原张量中的两个秩-1分量完全对应，块分量中无近似误差。