[论文解读] Tensor Reconstruction Beyond Constant Rank

Shir Peleg, Amir Shpilka+1 more|arXiv (Cornell University)|Sep 9, 2022

Complexity and Algorithms in Graphs被引用 3

一句话总结

本论文提出了深度为3的算术电路在超常数秩情况下的首个高效重构算法，具体针对Σ[k]V[d]Σ、多线性Σ[k]∏[d]Σ以及集合多线性Σ[k]∏[d]Σ电路。其核心是提出了一种新型技术以学习保持秩的坐标子空间，避免了先前工作中在k上出现的指数级膨胀，并分别提供了确定性和随机化算法，运行时间分别改进为poly(n, d, c) · poly(k)kk10和poly(n, d, c) · kkkkO(k)。

ABSTRACT

We give reconstruction algorithms for subclasses of depth-3 arithmetic circuits. In particular, we obtain the first efficient algorithm for finding tensor rank, and an optimal tensor decomposition as a sum of rank-one tensors, when given black-box access to a tensor of super-constant rank. Specifically, we obtain the following results: 1) A deterministic algorithm that reconstructs polynomials computed by Σ^{[k]}⋀^{[d]}Σ circuits in time poly(n,d,c) ⋅ poly(k)^{k^{k^{10}}}, 2) A randomized algorithm that reconstructs polynomials computed by multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, 3) A randomized algorithm that reconstructs polynomials computed by set-multilinear Σ^{[k]}∏^{[d]}Σ circuits in time poly(n,d,c) ⋅ k^{k^{k^{k^{O(k)}}}}, where c = log q if 𝔽 = 𝔽_q is a finite field, and c equals the maximum bit complexity of any coefficient of f if 𝔽 is infinite. Prior to our work, polynomial time algorithms for the case when the rank, k, is constant, were given by Bhargava, Saraf and Volkovich [Vishwas Bhargava et al., 2021]. Another contribution of this work is correcting an error from a paper of Karnin and Shpilka [Zohar Shay Karnin and Amir Shpilka, 2009] (with some loss in parameters) that also affected Theorem 1.6 of [Vishwas Bhargava et al., 2021]. Consequently, the results of [Zohar Shay Karnin and Amir Shpilka, 2009; Vishwas Bhargava et al., 2021] continue to hold, with a slightly worse setting of parameters. For fixing the error we systematically study the relation between syntactic and semantic notions of rank of Σ Π Σ circuits, and the corresponding partitions of such circuits. We obtain our improved running time by introducing a technique for learning rank preserving coordinate-subspaces. Both [Zohar Shay Karnin and Amir Shpilka, 2009] and [Vishwas Bhargava et al., 2021] tried all choices of finding the "correct" coordinates, which, due to the size of the set, led to having a fast growing function of k at the exponent of n. We manage to find these spaces in time that is still growing fast with k, yet it is only a fixed polynomial in n.

研究动机与目标

• 开发当秩k为超常数时，深度3算术电路的高效重构算法，扩展至此前仅适用于常数秩的情况。
• 修正Karnin与Shpilka（2009）以及Bhargava、Saraf与Volkovich（2021）的定理1.6中的错误，该错误影响了先前结果中的参数设置。
• 建立ΣΠΣ电路中语法秩与语义秩概念之间的系统性联系及其对应的划分方式。
• 设计一种新的算法技术，用于学习保持秩的坐标子空间，避免对坐标选择进行穷举搜索，从而改善对k的运行时间依赖。

提出的方法

• 提出一种新颖方法以学习保持秩的坐标子空间，替代此前尝试所有可能坐标集合的方法。
• 将该技术应用于通过确定性算法重构Σ[k]V[d]Σ电路，运行时间为poly(n, d, c) · poly(k)kk10。
• 对多线性和集合多线性Σ[k]∏[d]Σ电路采用随机化方法，实现运行时间poly(n, d, c) · kkkkO(k)。
• 利用对方向导数的黑箱访问，并使用命中集识别关键变量与聚类结构。
• 应用Berlekamp-Welch算法对多项式沿直线的单变量限制进行插值，从而实现聚类恢复。
• 利用语义秩与语法秩的划分来引导重构过程，确保结果正确性。

实验结果

研究问题

• RQ1 当秩k为超常数而非常数时，能否实现深度3电路的高效重构？
• RQ2 ΣΠΣ电路中语法秩与语义秩之间正确的关联关系是什么？如何在算法上加以利用？
• RQ3 能否通过避免对坐标子空间进行穷举搜索，从而减少先前算法中对k的指数级依赖？
• RQ4 如何在修正先前工作中的错误（特别是Karnin与Shpilka，2009年，以及Bhargava、Saraf与Volkovich，2021年）的同时，通过调整参数仍保持核心结果成立？
• RQ5 是否可能设计一种重构算法，能够正确学习集合多线性电路，同时保持其结构约束？

主要发现

• 本论文首次提出针对Σ[k]V[d]Σ电路的确定性重构算法，运行时间为poly(n, d, c) · poly(k)kk10，其中c为域大小或系数位复杂度。
• 首次提出针对多线性与集合多线性Σ[k]∏[d]Σ电路的随机化重构算法，运行时间为poly(n, d, c) · kkkkO(k)。
• 作者修正了Karnin与Shpilka（2009）中的关键错误，并表明该工作及其与Bhargava、Saraf与Volkovich（2021）的结论在参数稍差的情况下依然成立。
• 学习保持秩子空间的新技术将运行时间对k的依赖从k的指数级降低为n的固定多项式，尽管k的指数仍较大。
• 该算法成功重构了最小化电路，并通过随机化PIT检测以高概率确保结果正确。
• 该方法通过确保学习到的子电路保持集合多线性结构，实现了对集合多线性电路的正确学习。