[论文解读] Subspace power method for symmetric tensor decomposition

Joe Kileel, João M. Pereira|arXiv (Cornell University)|Dec 9, 2019

Tensor decomposition and applications参考文献 67被引用 9

一句话总结

该论文提出子空间幂法（SPM），一种针对低秩实对称张量的偶数阶对称张量分解的快速且鲁棒的算法。通过结合矩阵展平、特征分解以及改进的张量幂法与降维技术，SPM 在保持噪声下精度的同时，相比最先进方法实现了约10倍的速度提升，并在张量秩约为张量条目数平方根量级时，提供了收敛性和全局最优性的理论保证。

ABSTRACT

We introduce the Subspace Power Method (SPM) for calculating the CP decomposition of low-rank real symmetric tensors. This algorithm calculates one new CP component at a time, alternating between applying the shifted symmetric higher-order power method (SS-HOPM) to a certain modified tensor, constructed from a matrix flattening of the original tensor; and using appropriate deflation steps. We obtain rigorous guarantees for SPM regarding convergence and global optima for input tensors of dimension $d$ and order $m$ of CP rank up to $O(d^{\lfloor m/2 floor})$, via results in classical algebraic geometry and optimization theory. As a by-product of our analysis we prove that SS-HOPM converges unconditionally, settling a conjecture in [Kolda, T.G., Mayo, J.R.: Shifted power method for computing tensor eigenpairs. SIAM Journal on Matrix Analysis and Applications 32(4), 1095-1124 (2011)]. We present numerical experiments which demonstrate that SPM is efficient and robust to noise, being up to one order of magnitude faster than state-of-the-art CP decomposition algorithms in certain experiments. Furthermore, prior knowledge of the CP rank is not required by SPM.

研究动机与目标

• 开发一种快速且鲁棒的算法，用于计算低秩、偶数阶实对称张量的对称CP分解。
• 解决张量分解中的计算瓶颈，特别是针对大规模或含噪声数据集的情况。
• 在现实秩条件下，为算法提供收敛性和全局最优性的理论保证。
• 通过对称块项分解将该方法扩展至广义主成分分析，以支持统计应用。
• 实现在高噪声、高维场景下的实际部署，如冷冻电镜（cryo-EM）和潜变量建模。

提出的方法

• 将输入的对称张量展平为矩阵，以提取阶数为n的张量的低维子空间。
• 对展平后的张量执行矩阵特征分解，识别由秩-1分量的n次幂张成的子空间。
• 在子空间上应用改进的张量幂法（SS-HOPM），以恢复各个秩-1分量。
• 使用降维技术迭代提取每个分量，确保后续步骤中无重叠或污染。
• 利用代数几何结果（如三重切线引理、Łojasiewicz不等式）建立收敛性和最优性保证。
• 将该框架扩展至计算对称块项分解，以支持广义主成分分析应用。

实验结果

研究问题

• RQ1 能否设计一种张量分解算法，在低秩对称张量上同时比现有方法更快且更鲁棒？
• RQ2 基于幂方法的对称张量分解，其收敛性和全局最优性可建立何种理论保证？
• RQ3 在添加噪声条件下，该方法的表现如何，特别是在张量仅近似低秩时？
• RQ4 基于子空间的方法能否扩展至广义主成分分析和潜变量模型？
• RQ5 是否可能在无需显式构造张量的情况下，将该方法适配于隐式或含噪声的矩张量？

主要发现

• SPM 在对称张量分解方面，计算速度比最先进算法快约一个数量级。
• 该方法对加性噪声具有鲁棒性，在输入张量仅近似低秩时仍能保持精度。
• 理论分析证实，对于秩约为张量条目数平方根量级的张量，算法具有收敛性和全局最优性。
• SPM 成功计算了对称块项分解，从而为广义主成分分析提供了一种矩方法。
• 数值模拟显示无需随机重启，表明该方法在各类测试案例中均表现出稳定可靠的收敛性。
• 该方法在噪声环境下的性能对奇异值阈值选择敏感，提示未来工作需设计最优收缩规则。