[论文解读] Orthogonal Tensor Decompositions via Two-Mode Higher-Order SVD (HOSVD).

Miaoyan Wang, Yun Song|arXiv (Cornell University)|Dec 12, 2016

Tensor decomposition and applications被引用 1

一句话总结

本文提出了一种新颖的双模高阶奇异值分解（HOSVD）方法，用于对对称且近乎正交可分解的张量进行正交张量分解。通过在两个张量模态上施加秩-1约束，并基于Kruskal唯一性定理，该方法在高阶张量和多种噪声环境下，相较于经典HOSVD，展现出更优的抗噪能力和更高的估计精度。

ABSTRACT

Tensor decompositions have rich applications in statistics and machine learning, and developing efficient, accurate algorithms for the problem has received much attention recently. Here, we present a new method built on Kruskal's uniqueness theorem to decompose symmetric, nearly orthogonally decomposable tensors. Unlike the classical higher-order singular value decomposition which unfolds a tensor along a single mode, we consider unfoldings along two modes and use rank-1 constraints to characterize the underlying components. This tensor decomposition method provably handles a greater level of noise compared to previous methods and achieves a high estimation accuracy. Numerical results demonstrate that our algorithm is robust to various noise distributions and that it performs especially favorably as the order increases.

研究动机与目标

• 开发一种针对对称且近乎正交可分解张量的更鲁棒、更精确的张量分解方法。
• 解决经典HOSVD的局限性，其仅沿单一模态展开张量，在噪声环境下效果较差。
• 提升张量分解中的抗噪容忍度与估计精度，尤其是在张量阶数增加时。
• 利用Kruskal唯一性定理，确保分解过程中组件识别的可靠性。

提出的方法

• 该方法同时沿两个模态展开张量，而非如经典HOSVD仅沿单一模态展开。
• 对所得矩阵施加秩-1约束，以表征潜在的张量成分。
• 该方法基于Kruskal唯一性定理，该定理在特定秩条件下保证分解的唯一性。
• 算法采用适用于双模展开的高阶奇异值分解技术，以提取正交成分。
• 其将分解过程建模为一个优化问题，以保持正交性并提升在噪声下的稳定性。
• 该方法专为对称张量设计，利用其结构特性以提升精度。

实验结果

研究问题

• RQ1 如何改进张量分解方法，使其在噪声水平更高的情况下优于经典HOSVD？
• RQ2 双模展开结合秩-1约束是否能实现更精确、更稳定的张量成分估计？
• RQ3 随着张量阶数的增加，该方法是否仍能保持优异性能？
• RQ4 在不同噪声分布下，该方法在估计精度方面相较于现有方法的优越程度如何？

主要发现

• 所提方法在噪声环境中相比经典HOSVD实现了更高的估计精度。
• 其在多种噪声分布下表现出更强的鲁棒性，包括高斯噪声和重尾噪声。
• 随着张量阶数的增加，该算法仍保持优异性能，在高阶设置下优于以往方法。
• 由于采用双模展开与秩-1约束框架，该方法在理论上可处理更高水平的噪声。
• 数值结果证实，该方法在多种合成与真实世界张量分解任务中均表现出稳定性与高精度。