[论文解读] On the Nuclear Norm and the Singular Value Decomposition of Tensors

Harm Derksen|arXiv (Cornell University)|Aug 18, 2013

Tensor decomposition and applications参考文献 11被引用 4

一句话总结

本文提出了一种高阶张量的奇异值分解（SVD）的新推广形式，称为对角奇异值分解（DSVD），并系统研究了核范数作为张量秩的凸松弛。研究证明，当 $ n \geq 3 $ 时，行列式张量和永久张量均不具有 DSVD，且推导出其核范数与谱范数的精确值，揭示了该框架下低秩分解的根本障碍。

ABSTRACT

Finding the rank of a tensor is a problem that has many applications. Unfortunately it is often very difficult to determine the rank of a given tensor. Inspired by the heuristics of convex relaxation, we consider the nuclear norm instead of the rank of a tensor. We determine the nuclear norm of various tensors of interest. Along the way, we also do a systematic study various measures of orthogonality in tensor product spaces and we give a new generalization of the Singular Value Decomposition to higher order tensors.

研究动机与目标

• 开发一种高阶张量的 SVD 新推广形式，称为对角奇异值分解（DSVD），以将矩阵 SVD 的性质推广至张量。
• 研究张量的核范数作为张量秩的凸松弛，其动机源于张量补全与低秩逼近等应用。
• 确定关键张量（如永久张量与行列式张量）的核范数与谱范数，提供精确值并揭示其结构复杂性的洞察。
• 通过分析正交性条件，研究 DSVD 的存在性及其局限性，并推导出分解的必要条件。

提出的方法

• 提出一种新的张量分解框架——对角奇异值分解（DSVD），基于具有有序奇异值的 $ 2 $-正交纯张量。
• 为 $ r $-元组的纯张量定义 $ t $-正交性，以推广张量积空间中的正交性，并建立 DSVD 存在性的条件。
• 将核范数定义为所有分解 $ T = \sum v_i $ 中 $ \|v_i\| $ 的和，并通过最小化该和来定义范数。
• 应用定理 1.1 和推论 1.2，利用核范数与谱范数之间的对偶性，推导谱范数的上界。
• 使用行列式与永久张量的广义拉普拉斯展开，推导张量秩的下界。
• 采用维数计数与组合论证，证明 $ \|\operatorname{per}_n\|_* = n^{n/2} $，$ \|\det_n\|_* = n! $，且 $ [\operatorname{per}_n] = n! / n^{n/2} $。

实验结果

研究问题

• RQ1 当 $ n \geq 3 $ 时，行列式张量 $ \det_n $ 是否具有对角奇异值分解（DSVD）？
• RQ2 当 $ n \geq 3 $ 时，永久张量 $ \operatorname{per}_n $ 是否具有 DSVD？
• RQ3 永久张量与行列式张量的核范数与谱范数的精确值是什么？
• RQ4 张量的核范数与谱范数之间存在何种关系？该关系如何限制 DSVD 的存在性？
• RQ5 广义拉普拉斯展开是否可用于推导 $ \det_n $ 与 $ \operatorname{per}_n $ 的张量秩的紧下界？

主要发现

• 永久张量 $ \operatorname{per}_n $ 的核范数精确为 $ n^{n/2} $，其谱范数为 $ n! / n^{n/2} $，因此核范数与谱范数的比值为 $ n^n / n! $。
• 行列式张量 $ \det_n $ 的核范数为 $ n! $，谱范数为 $ n! / n^{n/2} $，其比值同样为 $ n^n / n! $，当 $ n \geq 3 $ 时该值非整数。
• 当 $ n \geq 3 $ 时，永久张量 $ \operatorname{per}_n $ 无法具有 DSVD，因为所需的重数 $ r = n^n / n! $ 不是整数。
• 当 $ n \geq 3 $ 时，行列式张量 $ \det_n $ 无法具有 DSVD，因为所需的重数 $ r = n! $ 超过了 $ 2 $-正交纯张量的最大可能数量，而该数量受 $ n^{n/2} $ 限制。
• 张量 $ \det_3 $ 的秩至多为 5，且 $ \det_n $ 的秩满足 $ \operatorname{rank}(\det_n) \leq \left(\frac{5}{6}\right)^{\lfloor n/3 \rfloor} n! $，表明其增长为次阶乘级。
• 广义拉普拉斯展开给出了下界 $ \operatorname{rank}(\det_n) \geq \binom{n}{\lfloor n/2 \rfloor} $，表明张量秩呈指数增长。