[论文解读] Tensor Decompositions via Two-Mode Higher-Order SVD (HOSVD)

Miaoyan Wang, Yun S. Song|arXiv (Cornell University)|Dec 12, 2016

Tensor decomposition and applications参考文献 19被引用 12

一句话总结

该论文提出了一种基于两模高阶奇异值分解（HOSVD）的新张量分解方法，可显著提升对对称且近乎正交可分解张量的抗噪能力和估计精度。通过沿两个模式展开张量，并在所得矩阵的SVD中施加近乎秩-1约束，该方法实现了 $ O(d^{-(k-2)/2}) $ 的抗噪能力，优于现有方法（如张量幂法）的 $ O(d^{-(k-1)/2}) $，并在各种噪声分布及张量阶数增加时表现出鲁棒性。

ABSTRACT

Tensor decompositions have rich applications in statistics and machine learning, and developing efficient, accurate algorithms for the problem has received much attention recently. Here, we present a new method built on Kruskal's uniqueness theorem to decompose symmetric, nearly orthogonally decomposable tensors. Unlike the classical higher-order singular value decomposition which unfolds a tensor along a single mode, we consider unfoldings along two modes and use rank-1 constraints to characterize the underlying components. This tensor decomposition method provably handles a greater level of noise compared to previous methods and achieves a high estimation accuracy. Numerical results demonstrate that our algorithm is robust to various noise distributions and that it performs especially favorably as the order increases.

研究动机与目标

• 开发一种比现有方法更具鲁棒性和准确性的张量分解算法，以应对更高水平的噪声。
• 将张量分解技术从三阶张量扩展至任意阶 $ k \geq 3 $。
• 利用Kruskal唯一性定理和低秩矩阵结构，确保在无噪声情况下实现精确恢复，并在有噪声条件下实现稳定估计。
• 改进现有方法（如张量幂法（TPM）和正交联合对角化（OJD））的抗噪能力。
• 提供一个适用于对称与非对称张量的通用框架，包括对非正交情形的白化处理。

提出的方法

• 该方法沿两个模式展开张量以形成矩阵，将张量分解问题转化为矩阵分解任务。
• 在展开矩阵的左奇异向量上施加近乎秩-1约束，将其建模为潜在成分的克罗内克平方 $ \bm{x}^{\otimes 2} $。
• 利用近乎秩-1矩阵的主导特征向量来估计原始张量成分 $ \bm{u}_i $。
• 通过矩阵SVD和扰动分析，利用谱范数和奇异向量偏离度来界定噪声下的估计误差。
• 通过在核心计算步骤中用SVD替代特征分解，将该方法扩展至非对称张量。
• 理论分析依赖于Kruskal唯一性定理，以确保即使在特征值退化的情况下也能保证成分的可辨识性。

实验结果

研究问题

• RQ1 是否存在一种张量分解方法，其抗噪能力优于现有算法（如张量幂法）？
• RQ2 所提方法的性能如何随张量阶数 $ k $ 的增加而变化？
• RQ3 两模HOSVD框架能否推广至非对称和非正交张量？
• RQ4 在噪声条件下，估计误差的理论界是什么？与现有方法相比如何？
• RQ5 该方法在包括重尾和非高斯噪声在内的多种噪声分布下是否仍保持高精度？

主要发现

• 所提方法实现了 $ O(d^{-(k-2)/2}) $ 的抗噪能力，显著高于张量幂法的 $ O(d^{-(k-1)/2}) $。
• 每个成分 $ \bm{u}_i $ 的估计误差被界定为 $ \operatorname{Loss}(\bm{\widehat{u}}_i, \bm{u}_i) \leq 2\varepsilon / \lambda_i + o(\varepsilon) $，表明在噪声下具有高精度。
• 残差张量范数被界定为 $ \|\Delta\mathcal{\widetilde{T}}\|_{\sigma} \leq C\varepsilon + o(\varepsilon) $，证实了稳定收敛性。
• 数值结果表明，该方法对各种噪声分布具有鲁棒性，且在张量阶数增加时表现尤为出色。
• 运行时基准测试显示，该方法效率较高，执行时间随秩和维度呈亚线性增长，优于OJD，并与TPM具有竞争力。
• 由于Kruskal定理保证了唯一性，该方法在无噪声情况下可实现精确恢复。