[论文解读] Symmetric Orthogonal Tensor Decomposition is Trivial

Tamara G. Kolda|arXiv (Cornell University)|Mar 4, 2015

Tensor decomposition and applications参考文献 7被引用 25

一句话总结

该论文提出了一种新颖的方法，通过将对称正交张量分解问题简化为一个 $n \times n$ 对称矩阵特征值问题，从而实现高效且精确的求解。当因子矩阵满秩且张量切片的正定线性组合存在时，该方法可获得精确解。与迭代方法（如张量幂法）相比，该方法在无噪声环境下表现更优，并提供了直接且计算上可行的解决方案。

ABSTRACT

We consider the problem of decomposing a real-valued symmetric tensor as the sum of outer products of real-valued, pairwise orthogonal vectors. Such decompositions do not generally exist, but we show that some symmetric tensor decomposition problems can be converted to orthogonal problems following the whitening procedure proposed by Anandkumar et al. (2012). If an orthogonal decomposition of an $m$-way $n$-dimensional symmetric tensor exists, we propose a novel method to compute it that reduces to an $n imes n$ symmetric matrix eigenproblem. We provide numerical results demonstrating the effectiveness of the method.

研究动机与目标

• 为解决计算对称正交张量分解的挑战，因为对任意对称张量，这类分解通常不存在。
• 将Anandkumar等人（2012年）基于白化变换的方法推广到因子矩阵满列秩但非正交的情形。
• 开发一种直接的、非迭代的对称正交张量分解方法，该方法可简化为标准对称特征值问题。
• 评估该方法在噪声下的鲁棒性，特别是当真实张量秩因扰动而被低估时的表现。
• 为计算对称张量分解中的Z-特征对，提供一种计算效率高于迭代幂法的替代方案。

提出的方法

• 通过张量切片的线性组合构造一个正定矩阵 $\mathbf{C}$，对张量应用白化变换，从而实现因子矩阵的正交化。
• 将对称正交张量分解问题简化为求解一个标准的 $n \times n$ 对称矩阵特征值问题，该方法计算高效且数值稳定。
• 利用变换后矩阵的特征分解，恢复正交因子矩阵 $\mathbf{X}^*$ 及其对应的特征值 $\bm{\lambda}^*$。
• 仅当因子矩阵 $\mathbf{X}$ 满列秩且张量切片存在正定线性组合时，该变换才有效。
• 当初始选择的 $\gamma$ 值无法得到正定 $\mathbf{C}$ 矩阵时，通过在多个随机 $\gamma$ 值上迭代应用该方法，以寻找满足条件的 $\mathbf{C}$ 矩阵。
• 通过重构误差和解分值指标验证解的准确性与收敛性。

实验结果

研究问题

• RQ1 与迭代幂法相比，能否更高效地计算对称正交张量分解？
• RQ2 在何种条件下，可通过白化变换将非正交的对称张量分解转化为正交分解？
• RQ3 在存在小噪声的情况下，该方法表现如何，特别是当真实张量秩因扰动而被改变时？
• RQ4 将对称正交张量分解简化为标准对称特征值问题的计算效率与可靠性如何？
• RQ5 当因子矩阵满秩但非正交时，该方法是否能一致地恢复正确的秩与分解？

主要发现

• 所提出的方法通过将问题简化为 $n \times n$ 对称矩阵特征值问题，成功实现了对称正交张量分解，在满足条件时可获得精确解。
• 在无噪声情况下（$\eta = 0$），该方法在所有1000次测试中均100%成功找到正定 $\mathbf{C}$ 矩阵，并以1.0的解分值准确恢复了正确秩与分解。
• 对于偶数阶张量（$m=4,6$）且 $\eta=0$ 的情形，该方法在全部1000次运行中均精确求解，平均仅需1.26次尝试即可找到正定 $\mathbf{C}$ 矩阵。
• 对于奇数阶张量（$m=3$）且 $\eta=0$ 的情形，该方法在77%的实例中成功找到 $\mathbf{C}$ 矩阵，并以高精度恢复了正确的分解。
• 在存在噪声（$\eta=0.01$）的情况下，性能显著下降：对于 $m=4,n=25,p=3$，无任何实例找到正定 $\mathbf{C}$ 矩阵；对于 $m=6,n=6,p=4$，仅256/1000次运行成功找到 $\mathbf{C}$，且在76%的案例中未能获得有效解。
• 噪声环境下失败的原因在于，噪声张量的秩高于 $p$，导致因子矩阵失去满列秩，从而违反了方法的前提假设。