[论文解读] Tensor rank and the ill-posedness of the best low-rank approximation problem

Vin de Silva, Lek‐Heng Lim|ArXiv.org|Jul 26, 2006

Tensor decomposition and applications参考文献 51被引用 8

一句话总结

本文证明了对于三阶或更高阶的张量，最佳低秩逼近问题本质上是病态的，因为对于许多张量和秩，最优逼近可能不存在。本文提出使用弱解来克服此问题，并对秩-2、三阶张量的弱解进行了完整刻画，同时表明张量秩可通过超行列式表示为多项式不等式。

ABSTRACT

There has been continued interest in seeking a theorem describing optimal low-rank approximations to tensors of order 3 or higher, that parallels the Eckart-Young theorem for matrices. In this paper, we argue that the naive approach to this problem is doomed to failure because, unlike matrices, tensors of order 3 or higher can fail to have best rank-r approximations. The phenomenon is much more widespread than one might suspect: examples of this failure can be constructed over a wide range of dimensions, orders and ranks, regardless of the choice of norm (or even Bregman divergence). Moreover, we show that in many instances these counterexamples have positive volume: they cannot be regarded as isolated phenomena. In one extreme case, we exhibit a tensor space in which no rank-3 tensor has an optimal rank-2 approximation. The notable exceptions to this misbehavior are rank-1 tensors and order-2 tensors. In a more positive spirit, we propose a natural way of overcoming the ill-posedness of the low-rank approximation problem, by using weak solutions when true solutions do not exist. In our work we emphasize the importance of closely studying concrete low-dimensional examples as a first step towards more general results. To this end, we present a detailed analysis of equivalence classes of 2-by-2-by-2 tensors, and we develop methods for extending results upwards to higher orders and dimensions. Finally, we link our work to existing studies of tensors from an algebraic geometric point of view. The rank of a tensor can in theory be given a semialgebraic description; i.e., can be determined by a system of polynomial inequalities. In particular we make extensive use of the 2-by-2-by-2 hyperdeterminant.

研究动机与目标

• 研究三阶或更高阶张量的最佳低秩逼近的存在性，挑战此类逼近始终存在的假设。
• 证明缺乏最佳秩-r 逼近的张量集合在张量空间中具有正体积，表明这种失败并非孤立或罕见。
• 提出并表征弱解，作为低秩逼近问题病态性的补救方案。
• 通过多项式不等式，特别是对 2×2×2 情况下的超行列式进行分析，提供张量秩的半代数描述。
• 开发降维技术，使低维张量空间中的结果可推广至高维。

提出的方法

• 证明对于任意范数，当 k ≥ 3 且 r ≥ 2 时，三阶或更高阶张量的最佳秩-r 逼近问题均为病态。
• 利用秩映射的上半连续性及投影算子的连续性，证明缺乏最佳逼近的张量集合具有正体积。
• 引入弱解的概念，即不收敛于真实秩-r 张量的秩-r 张量序列的极限。
• 利用超行列式 Δ 和秩-2 张量簇的闭包结构，对秩-2、三阶张量的弱解进行刻画。
• 应用 Tarski–Seidenberg 定理，证明张量秩可通过多项式不等式实现半代数描述。
• 通过显式分析 2×2×2 张量，推导出适用于高阶和高维情形的一般性结果与降维技术。

实验结果

研究问题

• RQ1 对于三阶或更高阶张量，最佳秩-r 逼近是否始终存在？
• RQ2 能否证明缺乏最佳低秩逼近的张量集合在张量空间中具有正体积？
• RQ3 当不存在真正的最小化器时，是否可以定义一种有意义的逼近替代方案？
• RQ4 张量秩是否能通过有限个多项式不等式系统来描述？
• RQ5 如何将低维张量空间（如 2×2×2）中的结果推广至更高维和更高阶情形？

主要发现

• 对于任意范数或 Brègman 散度，三阶或更高阶张量的最佳低秩逼近问题在 k ≥ 3 且 r ≥ 2 时均为病态。
• 缺乏最佳秩-r 逼近的张量集合具有正体积，表明此类失败并非罕见或孤立。
• 对于秩-2、三阶张量，弱解存在且可通过超行列式 Δ 及秩-2 变体闭包结构完全刻画。
• 在 R^{2×2×2} 中，张量秩可通过超行列式 Δ 的符号实现半代数描述，其中 Δ 是张量分量的四次齐次多项式。
• 投影映射到秩-2 张量簇在该簇的闭包上连续，从而可将弱解构造为簇中序列的极限。
• 通过保持关键几何与代数性质的降维技术，可将结果推广至更高阶和更高维张量。