[论文解读] The Chasm at Depth Four, and Tensor Rank : Old results, new insights

Suryajith Chillara, Mrinal Kumar+2 more|arXiv (Cornell University)|Jun 14, 2016

Complexity and Algorithms in Graphs参考文献 7被引用 9

一句话总结

本文提出了一种简化且基于组合数学的算术电路、公式及常数深度电路的深度简化证明，将经典的四层深度差距推广至齐次公式。它利用深度简化中的结构洞见，给出了Raz结果的新颖、简化的证明：在范围 $\omega(1) \leq d \leq n^{o(1)}$ 内，构造出高秩显式张量，意味着在任意域上算术公式的超多项式下界。

ABSTRACT

Agrawal and Vinay [AV08] showed how any polynomial size arithmetic circuit can be thought of as a depth four arithmetic circuit of subexponential size. The resulting circuit size in this simulation was more carefully analyzed by Korian [Koiran] and subsequently by Tavenas [Tav13]. We provide a simple proof of this chain of results. We then abstract the main ingredient to apply it to formulas and constant depth circuits, and show more structured depth reductions for them. In an apriori surprising result, Raz [Raz10] showed that for any $n$ and $d$, such that $ ω(1) \leq d \leq O\left(\frac{\log n}{\log\log n} ight)$, constructing explicit tensors $T:[n]^d ightarrow F$ of high enough rank would imply superpolynomial lower bounds for arithmetic formulas over the field $F$. Using the additional structure we obtain from our proof of the depth reduction for arithmetic formulas, we give a new and arguably simpler proof of this connection. We also extend this result for homogeneous formulas to show that, in fact, the connection holds for any $d$ such that $ω(1) \leq d \leq n^{o(1)}$.

研究动机与目标

• 使用组合方法，为算术电路的四层深度差距结果提供一种新且更简单的证明。
• 将深度简化框架扩展至齐次算术公式和常数深度电路，揭示额外的结构特性。
• 利用公式中增强的结构，为Raz结果提供简化的证明，该结果将张量秩与算术公式的下界联系起来。
• 在齐次性假设下，将Raz结果的适用范围从原始的 $d = O(\log n / \log \log n)$ 扩展至 $d \leq n^{o(1)}$。
• 证明公式中张量秩的上界与对集合-多元三层次电路的非平凡约化之间存在自然联系，从而阐明其结构意义。

提出的方法

• 基于将电路的总次数划分为若干层级，采用一种基于组合的深度简化技术，确保得到齐次四层结构。
• 将深度简化应用于齐次公式，表明顶层乘积门的最小扇入数与 $d \cdot d^{1/\Delta}/t$ 成正比，其中 $\Delta$ 为公式的乘积深度。
• 引入一种集合-多元化的程序，仅保留乘积中的集合-多元单项式，通过变量集的划分实现。
• 利用多项式系数和因子数量的指数衰减，对每个集合-多元分量的张量秩进行界定。
• 通过优化参数 $t$（扇入阈值），在项数与每项的秩之间取得平衡，从而在最终界中实现次指数分母。
• 通过设定 $t = 2^{O(c)}$，应用界 $\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$，确保分母中的指数以 $d/\exp(c)$ 的速度增长。

实验结果

研究问题

• RQ1 能否使用组合论证更简洁地证明算术电路的四层深度差距结果？
• RQ2 与一般电路相比，齐次算术公式在深度简化过程中是否显现出额外的结构约束？
• RQ3 公式深度简化中改进的结构是否允许得到Raz张量秩下界联系的更强或更一般版本？
• RQ4 高张量秩是否能将超多项式公式下界的适用范围从 $O(\log n / \log \log n)$ 扩展至更广的 $d$ 范围？
• RQ5 在公式背景下，张量秩上界与对集合-多元三层次电路的约化之间是否存在自然联系？

主要发现

• 本文通过组合划分论证，为算术电路的四层深度差距提供了一种新颖且初等的证明。
• 对于大小为 $n^c$ 的齐次公式，其计算多项式的张量秩至多为 $n^d / n^{d/\exp(c)}$，即使在 $d \leq n^{o(1)}$ 时也成立。
• 该证明技术可扩展至常数深度电路，揭示了在深度简化后的公式中，顶层乘积门具有最小数量的非平凡因子。
• 作者表明，公式张量秩的上界本质上等价于对集合-多元三层次电路的非平凡约化。
• 通过延迟集合-多元化步骤，该证明将Raz结果的适用范围扩展至 $d \leq n^{o(1)}$，实现更广的适用性。
• 最终界 $\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$ 通过平衡项数与每项的秩获得，分母中的指数以 $d/\exp(c)$ 的速度增长。