[论文解读] Tensor Network Complexity of Multilinear Maps

Per Austrin, Petteri Kaski+1 more|arXiv (Cornell University)|Dec 27, 2017

Tensor decomposition and applications参考文献 49被引用 8

一句话总结

本文提出在超图上使用张量网络作为计算模型，用于评估多重线性映射，表明该模型能够捕捉快速算法（如矩阵乘法和傅里叶变换）。研究建立了计数同态与多重线性映射的紧致上下界，证明即使在底层张量具有高边界秩的情况下，张量网络也无法突破已知复杂度界限，例如团计数和永久子计算问题的复杂度界限。

ABSTRACT

We study tensor networks as a model of arithmetic computation for evaluating multilinear maps. These capture any algorithm based on low border rank tensor decompositions, such as $O(n^{ω+ε})$ time matrix multiplication, and in addition many other algorithms such as $O(n \log n)$ time discrete Fourier transform and $O^*(2^n)$ time for computing the permanent of a matrix. However tensor networks sometimes yield faster algorithms than those that follow from low-rank decompositions. For instance the fastest known $O(n^{(ω+ε)t})$ time algorithms for counting $3t$-cliques can be implemented with tensor networks, even though the underlying tensor has border rank $n^{3t}$ for all $t \ge 2$. For counting homomorphisms of a general pattern graph $P$ into a host graph on $n$ vertices we obtain an upper bound of $O(n^{(ω+ε)\operatorname{bw}(P)/2})$ where $\operatorname{bw}(P)$ is the branchwidth of $P$. This essentially matches the bound for counting cliques, and yields small improvements over previous algorithms for many choices of $P$. While powerful, the model still has limitations, and we are able to show a number of unconditional lower bounds for various multilinear maps, including: (a) an $Ω(n^{\operatorname{bw}(P)})$ time lower bound for counting homomorphisms from $P$ to an $n$-vertex graph, matching the upper bound if $ω= 2$. In particular for $P$ a $v$-clique this yields an $Ω(n^{\lceil 2v/3 ceil})$ time lower bound for counting $v$-cliques, and for $P$ a $k$-uniform $v$-hyperclique we obtain an $Ω(n^v)$ time lower bound for $k \ge 3$, ruling out tensor networks as an approach to obtaining non-trivial algorithms for hyperclique counting and the Max-$3$-CSP problem. (b) an $Ω(2^{0.918n})$ time lower bound for the permanent of an $n imes n$ matrix.

研究动机与目标

• 开发一个统一框架，利用超图上的张量网络来建模和分析多重线性映射评估的算术复杂度。
• 理解张量网络在捕捉已知快速算法（如 O(n^ω+ϵ) 的矩阵乘法和 O(n log n) 的傅里叶变换）方面的计算能力。
• 为关键的多重线性映射建立无条件时间下界，揭示张量网络模型的内在局限性。
• 阐明结构参数（如分支宽度和边界秩）在决定多重线性计算复杂度中的作用。

提出的方法

• 使用超图上的张量网络建模多重线性映射评估，其中张量表示多重线性运算，超边表示共享指标。
• 基于张量收缩序列定义张量网络执行的代价函数，以最小化总算术运算次数。
• 在树分解上使用动态规划计算最小代价执行，其递推关系基于将网络划分为连通子网络。
• 证明任何执行均可重构为避免收缩非相邻张量而不增加代价，从而通过树状收缩顺序实现高效计算。
• 将该模型应用于分析从模式图 P 到 n 个顶点的宿主图的同态计数，以分支宽度 bw(P) 作为关键复杂度参数。
• 通过张量网络的结构分析推导下界，表明某些映射无论采用何种分解方式，均需指数或超多项式时间。

实验结果

研究问题

• RQ1 超图上的张量网络能否捕捉多重线性映射的最快已知算法，如矩阵乘法和傅里叶变换？
• RQ2 在从模式图 P 到宿主图的同态计数问题中，张量网络的计算能力在上界方面如何？
• RQ3 张量网络模型是否存在固有局限性，导致其无法实现超团计数或永久子计算等难题的更快算法？
• RQ4 模式图 P 的分支宽度与其到 n 个顶点图的同态计数复杂度之间有何关系？
• RQ5 在张量网络模型下，能否为根本性的多重线性映射（如永久子和团计数）建立无条件的下界？

主要发现

• 为从模式图 P 到 n 个顶点宿主图的同态计数建立了 O(n^{(ω+ϵ)bw(P)/2}) 的上界，当 P 为团时，该上界与已知的团计数界一致。
• 证明了同态计数的 Ω(n^{bw(P)}) 时间下界，当 ω = 2 时与上界匹配，表明该模型在此情况下具有紧致性。
• 对于 v-团计数，该模型暗示了 Ω(n^{⌈2v/3⌉}) 的下界，排除了通过张量网络实现更快算法的可能性。
• 对于 k-一致的 v-超团（k ≥ 3），证明了 Ω(n^v) 的下界，排除了超团计数和 Max-3-CSP 的非平凡张量网络算法。
• 为计算 n×n 矩阵的永久子建立了 Ω(2^{0.918n}) 的下界，表明张量网络无法在该问题上实现亚指数时间。
• 本文表明，张量网络在某些情况下可优于低边界秩分解，例如在 3t-团计数中，底层张量的边界秩为 n^{3t}，但可在 O(n^{(ω+ϵ)t}) 时间内计算。