[论文解读] On top fan-in vs formal degree for depth-$3$ arithmetic circuits

Mrinal Kumar|arXiv (Cornell University)|Apr 10, 2018

Complexity and Algorithms in Graphs参考文献 12被引用 3

一句话总结

该论文证明，在复数域上，任一齐次$d$次多项式均可由顶点扇入最多$d+1$的深度-3算术电路近似，展示了顶点扇入与形式度之间的强权衡。此外，该研究在边界复杂度中揭示了一项新权衡：由大小为$s$的电路计算的$d$次多项式，可被一个顶点扇入为$s^{O(t)}$、形式度为$s^{O(d/t)}$的深度-3电路近似，其中任意$t \leq d$，该结果优于以往下限为$s^{\Omega(\sqrt{d})}$的界。

ABSTRACT

We show that over the field of complex numbers, \emph{every} homogeneous polynomial of degree $d$ can be approximated (in the border complexity sense) by a depth-$3$ arithmetic circuit of top fan-in at most $d+1$. This is quite surprising since there exist homogeneous polynomials $P$ on $n$ variables of degree $2$, such that any depth-$3$ arithmetic circuit computing $P$ must have top fan-in at least $Ω(n)$. As an application, we get a new tradeoff between the top fan-in and formal degree in an approximate analog of the celebrated depth reduction result of Gupta, Kamath, Kayal and Saptharishi [GKKS13]. Formally, we show that if a degree $d$ homogeneous polynomial $P$ can be computed by an arithmetic circuit of size $s$, then for every $t \leq d$, $P$ is in the border of a depth-$3$ circuit of top fan-in $s^{O(t)}$ and formal degree $s^{O(d/t)}$. To the best of our knowledge, the upper bound on the top fan-in in the original proof of [GKKS13] is always at least $s^{O(\sqrt{d})}$, regardless of the formal degree.

研究动机与目标

• 探索在近似多项式时，深度-3算术电路中顶点扇入与形式度之间的权衡。
• 通过在允许更高形式度的同时减少顶点扇入，改进Gupta等人（2013年）的先前深度约化结果。
• 研究在边界复杂度设置下，更高的形式度是否能显著减小顶点扇入。
• 建立通过深度-3电路近似齐次多项式所需顶点扇入的紧致上界。

提出的方法

• 使用代数近似（边界复杂度）分析深度-3电路，允许形式度超过实际多项式次数。
• 应用一个结构结果：任一齐次$d$次多项式均为$d+1$个线性形式的对称函数，从而可通过深度-3电路实现近似。
• 采用深度约化技术将一般电路转换为深度-4电路，然后使用定理1.2近似底层结构。
• 利用对偶引理和Fischer公式，将齐次深度-5电路转化为具有受控扇入和度数的非齐次深度-3电路。
• 通过合并各层的求和门，将电路坍缩为单一深度-3结构，同时保持近似保证。
• 在多个证明中追踪参数，推导出以电路大小$s$和度数$d$表示的顶点扇入与形式度的紧致界。

实验结果

研究问题

• RQ1 通过增加形式度，是否可将深度约化中的顶点扇入降低至$s^{\Omega(\sqrt{d})}$以下？
• RQ2 是否可能用顶点扇入为$d+1$的深度-3电路近似任意齐次$d$次多项式？
• RQ3 由大小为$s$的电路计算的多项式，其边界复杂度是否可实现为顶点扇入$s^{O(t)}$与形式度$s^{O(d/t)}$，其中任意$t \leq d$？
• RQ4 是否存在某些自然多项式类，其在深度-3近似中的形式度可被更紧密地界住，同时保持顶点扇入较小？
• RQ5 对线性形式对称多项式的结构结果能否推广到精确计算而非仅近似？

主要发现

• 在$\mathbb{C}$上，任一齐次$d$次多项式均可由顶点扇入最多$d+1$的深度-3电路近似，与变量数量无关。
• 对于任意$t \leq d$，由大小为$s$的电路计算的$d$次多项式，可被一个顶点扇入为$s^{O(t)}$、形式度为$s^{O(d/t)}$的深度-3电路近似，优于以往的界。
• 该权衡优于Gupta等人（2013年）原始深度约化中的$s^{\Omega(\sqrt{d})}$顶点扇入下界，即使允许高形式度亦成立。
• 结果表明，在边界复杂度中，增加形式度可显著降低顶点扇入，提示深度-3电路设计中一种新范式。
• 本文提供了主权衡结果的两种证明：一种基于深度-4约化，另一种基于Fischer公式与对偶性，两者均得到相同的参数界。
• 顶点扇入的上界是紧致的，因为对于某些多项式（如初等对称多项式），任何精确深度-3电路均需$\Omega(n)$的顶点扇入，凸显了近似的优势。