[论文解读] Von Neumann's inequality for tensors

Stéphane Chrétien, Tianwen Wei|arXiv (Cornell University)|Feb 5, 2015

Tensor decomposition and applications参考文献 5被引用 3

一句话总结

本文通过高阶奇异值分解（HOSVD）将冯·诺依曼不等式从矩阵推广到高阶张量。它证明了两个张量的内积受其按模态分解的奇异值向量内积的限制，并完全刻画了等式成立的条件：当且仅当张量的核心张量通过正交变换和置换矩阵作用于其奇异谱后呈比例关系时，所有模态下等式同时成立。

ABSTRACT

For two matrices in $\mathbb R^{n_1 imes n_2}$, the von Neumann inequality says that their scalar product is less than or equal to the scalar product of their singular spectrum. In this short note, we extend this result to real tensors and provide a complete study of the equality case.

研究动机与目标

• 将原始仅适用于矩阵的冯·诺依曼不等式推广至高阶实张量。
• 基于高阶SVD（HOSVD）框架，为张量定义有意义的奇异值与奇异子空间结构。
• 在所有模态下完整刻画张量冯·诺依曼不等式中等式成立的条件。
• 支持张量优化中的应用，特别是张量函数次微分分析。
• 支持在机器学习与统计中使用稀疏性促进范数作为张量秩最小化的凸替代。

提出的方法

• 使用高阶奇异值分解（HOSVD）将张量分解为正交变换与具有正交纤维的核心张量。
• 将模态-$d$的奇异谱 $\sigma^{(d)}(\mathcal{X})$ 定义为张量模态-$d$矩阵化 $\mathcal{X}_{(d)}$ 的奇异值向量。
• 对每个模态-$d$矩阵化应用经典冯·诺依曼不等式，推导出界 $\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$。
• 通过分析HOSVD下核心张量 $\mathcal{S}(\mathcal{X})$ 与 $\mathcal{S}(\mathcal{Y})$ 的结构来刻画等式条件。
• 使用置换矩阵 $\Pi_d$ 重排奇异值，使得置换后核心张量中对应块呈比例关系。
• 证明：所有模态下等式同时成立当且仅当存在正交矩阵 $W^{(d)}$，使得 $\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ 在包含置换矩阵与正交变换的共同变换下成立，且 $\rho$ 在各块中为常数。

实验结果

研究问题

• RQ1 如何将冯·诺依曼的矩阵不等式推广至高阶张量？
• RQ2 为使此类推广成立，张量的奇异值与奇异子空间应如何正确定义？
• RQ3 在所有模态下同时成立张量冯·诺依曼不等式等式时，其条件为何？
• RQ4 HOSVD下核心张量的结构如何与不等式中的等式成立相关？
• RQ5 等式条件能否通过作用于奇异谱的正交变换与置换矩阵来表达？

主要发现

• 张量冯·诺依曼不等式成立：对任意两个张量 $\mathcal{X}, \mathcal{Y} \in \mathbb{R}^{n_1 \times \cdots \times n_D}$，其内积满足对每个模态 $d$ 有 $\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$。
• 所有模态 $d=1,\ldots,D$ 下等式同时成立当且仅当存在正交矩阵 $W^{(d)}$ 与张量 $\mathcal{D}(\mathcal{X})$，使得在包含置换矩阵与正交变换的共同变换下 $\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ 成立。
• 等式条件意味着核心张量的秩满足 $r_x^{(d)} = r_y^{(d)}$ 对所有 $d$ 成立，或 $r_x^{(d)} > r_y^{(d)}$ 对所有 $d$ 成立，或 $r_x^{(d)} < r_y^{(d)}$ 对所有 $d$ 成立，后两种情况要求核心张量元素成比例。
• 当等式成立时，核心张量 $\mathcal{S}(\mathcal{X})$ 与 $\mathcal{S}(\mathcal{Y})$ 在较小张量的支撑区域内，所有指标 $i_1,\ldots,i_D$ 处的元素均成比例，且各模态下的比例 $\sigma^{(d)}_{i_d}(\mathcal{X}) / \sigma^{(d)}_{i_d}(\mathcal{Y})$ 保持一致。
• 等式条件通过置换后核心张量中的块结构刻画：每个块对应一个共同的奇异值比例，且 $\mathcal{D}(\mathcal{X})$ 与 $\mathcal{D}(\mathcal{Y})$ 中同一块内所有元素成比例。
• 该刻画确保 $\mathcal{D}(\mathcal{X})$ 中的任意非零元素均位于这些块的并集中，从而保持比例条件成立。