[论文解读] Tensor network ranks

Ke Ye, Lek‐Heng Lim|arXiv (Cornell University)|Jan 8, 2018

Tensor decomposition and applications参考文献 30被引用 22

一句话总结

本文引入了一种基于无向图的张量秩的广义概念，称为G-秩，该概念扩展了传统的张量秩和多线性秩。研究表明，对于某些图G，函数、矩阵或张量可能具有较高的经典秩，但G-秩却很低，揭示了张量网络（如张量链和PEPS）是低G-秩结构的特例，从而在逼近和降维方面展现出显著的计算优势。

ABSTRACT

In problems involving approximation, completion, denoising, dimension reduction, estimation, interpolation, modeling, order reduction, regression, etc, we argue that the near-universal practice of assuming that a function, matrix, or tensor (which we will see are all the same object in this context) has \emph{low rank} may be ill-justified. There are many natural instances where the object in question has high rank with respect to the classical notions of rank: matrix rank, tensor rank, multilinear rank --- the latter two being the most straightforward generalizations of the former. To remedy this, we show that one may vastly expand these classical notions of ranks: Given any undirected graph $G$, there is a notion of $G$-rank associated with $G$, which provides us with as many different kinds of ranks as there are undirected graphs. In particular, the popular tensor network states in physics (e.g., extsc{mps}, extsc{ttns}, extsc{peps}) may be regarded as functions of a specific $G$-rank for various choices of $G$. Among other things, we will see that a function, matrix, or tensor may have very high matrix, tensor, or multilinear rank and yet very low $G$-rank for some $G$. In fact the difference is in the orders of magnitudes and the gaps between $G$-ranks and these classical ranks are arbitrarily large for some important objects in computer science, mathematics, and physics. Furthermore, we show that there is a $G$ such that almost every tensor has $G$-rank exponentially lower than its rank or the dimension of its ambient space.

研究动机与目标

• 为物理学和应用数学中张量网络缺乏严格的数学基础提供解决方案。
• 挑战广泛但常缺乏依据的假设，即函数或张量具有低经典秩（如矩阵秩、张量秩、多线性秩）。
• 提出一种基于图的秩（G-秩）的统一张量网络逼近框架，推广经典秩的概念。
• 证明对于重要类别的张量，G-秩可比经典秩小指数级。
• 确立G-秩在逼近、补全和降维任务中作为经典秩的更灵活、更有效的替代方案。

提出的方法

• 为任意无向图G定义G-秩，其中每个节点对应张量分解中的一个因子。
• 将张量网络态（如MPS、TT、PEPS）构造为特定图G下G-秩分解的特例。
• 使用多线性代数运算——外积、求和与缩并——正式定义G-秩分解。
• 证明对于任意图G，均存在经典秩任意大但G-秩极小的张量，从而揭示经典秩与G-秩之间的差距。
• 证明对于某些图G，几乎所有张量的G-秩均比其环境维数或经典秩指数级更小。
• 利用代数几何与张量分解理论（如Segre簇、切触簇）证明G-秩集合与经典秩集合不等价。

实验结果

研究问题

• RQ1 经典张量秩概念能否被推广，以提供一种更灵活且有依据的低秩逼近框架？
• RQ2 对于自然类别的张量，G-秩在多大程度上可比经典张量秩或多线性秩小指数级？
• RQ3 若张量网络态（如MPS、PEPS）的经典秩很高，为何在实践中如此有效？
• RQ4 是否存在图G，使得低G-秩张量的集合不等于任何经典秩结构集合（如秩 ≤ (r₁,r₂,r₃)）？
• RQ5 G-秩能否为目前依赖物理直觉和启发式方法的张量网络提供数学上严谨的基础？

主要发现

• 存在某些图G，使得张量的经典秩（矩阵秩、张量秩或多线性秩）可任意大，但其G-秩可任意小。
• 对于某些图G，通用张量的G-秩可比其环境维数或经典秩指数级更小。
• 多线性秩 ≤ (2,2,2) 的张量集合不等于任何Y_{r₁,r₂,r₃}（三节点图的G-秩集合），证明G-秩定义了严格不同的低秩结构类别。
• 张量网络态，如张量链（TT）、矩阵积态（MPS）和投影纠缠对态（PEPS），均为特定图G下低G-秩函数的特例。
• 2×2矩阵乘法的结构张量的多线性秩为(2,4,2)，但其边界秩为7，表明经典秩度量可能远非最优。
• 存在参数s₁,s₂,s₃，使得多线性秩 ≤ (s₁,s₂,s₃) 的张量集合不等于任何图G下的G-秩集合，证明G-秩捕捉到了独特的低秩结构。