[论文解读] New algorithms and lower bounds for circuits with linear threshold gates

Ryan Williams|arXiv (Cornell University)|Jan 10, 2014

Complexity and Algorithms in Graphs参考文献 40被引用 39

一句话总结

本文提出了一种新颖的算法，用于在 $2^n \cdot \mathrm{poly}(n)$ 时间内对所有 $2^n$ 个输入评估大小为亚指数的 $\mathsf{ACC} \circ \mathsf{THR}$ 电路中的对称函数，该方法利用加权阈值矩阵乘积和对矩阵乘法的约化。关键贡献是针对满足赋值计数的非平凡 $2^{n - n^\varepsilon}$-时间算法，从而为 $\mathsf{NEXP}$ 建立了强电路下界，并改进了 0-1 整数线性规划的算法。

ABSTRACT

Let $ACC \circ THR$ be the class of constant-depth circuits comprised of AND, OR, and MOD$m$ gates (for some constant $m > 1$), with a bottom layer of gates computing arbitrary linear threshold functions. This class of circuits can be seen as a "midpoint" between $ACC$ (where we know nontrivial lower bounds) and depth-two linear threshold circuits (where nontrivial lower bounds remain open). We give an algorithm for evaluating an arbitrary symmetric function of $2^{n^{o(1)}}$ $ACC \circ THR$ circuits of size $2^{n^{o(1)}}$, on all possible inputs, in $2^n \cdot poly(n)$ time. Several consequences are derived: $\bullet$ The number of satisfying assignments to an $ACC \circ THR$ circuit of subexponential size can be computed in $2^{n-n^{\varepsilon}}$ time (where $\varepsilon > 0$ depends on the depth and modulus of the circuit). $\bullet$ $NEXP$ does not have quasi-polynomial size $ACC \circ THR$ circuits, nor does $NEXP$ have quasi-polynomial size $ACC \circ SYM$ circuits. Nontrivial size lower bounds were not known even for $AND \circ OR \circ THR$ circuits. $\bullet$ Every 0-1 integer linear program with $n$ Boolean variables and $s$ linear constraints is solvable in $2^{n-Ω(n/((\log M)(\log s)^{5}))}\cdot poly(s,n,M)$ time with high probability, where $M$ upper bounds the bit complexity of the coefficients. (For example, 0-1 integer programs with weights in $[-2^{poly(n)},2^{poly(n)}]$ and $poly(n)$ constraints can be solved in $2^{n-Ω(n/\log^6 n)}$ time.) We also present an algorithm for evaluating depth-two linear threshold circuits (a.k.a., $THR \circ THR$) with exponential weights and $2^{n/24}$ size on all $2^n$ input assignments, running in $2^n \cdot poly(n)$ time. This is evidence that non-uniform lower bounds for $THR \circ THR$ are within reach.

研究动机与目标

• 开发用于评估 $\mathsf{ACC} \circ \mathsf{THR}$ 电路中对称函数的高效算法，该类电路位于 $\mathsf{ACC}$ 和两层阈值电路之间。
• 通过利用电路分析的算法进展，为 $\mathsf{NEXP}$ 建立非平凡的电路下界。
• 改进具有亚指数约束和大权重的 0-1 整数线性规划求解的最先进水平。
• 提供证据表明，深度为两层的阈值电路（$\mathsf{THR} \circ \mathsf{THR}$）的非均匀下界现在有望被证明。

提出的方法

• 该算法将 $\mathsf{ACC} \circ \mathsf{THR}$ 电路的评估问题约化为计算加权阈值矩阵乘积 $M \circledast_w N$。
• 它使用分桶策略将权重有序列表中的条目分组，将定义域大小减少到 $\{1, \dots, 2n\}$，同时保持不等式比较的正确性。
• 该方法将计算分为两部分：桶内比较（通过直接遍历处理）和桶间比较（通过矩阵乘法处理）。
• 它构建矩阵 $M'$ 和 $N'$ 以编码分桶归属和相对顺序，从而能够使用快速矩阵乘法算法。
• 通过设置参数使得 $n^{1+\delta}/s = n^{0.172}$，该算法应用 Coppersmith 的矩阵乘法算法，使矩阵乘法步骤达到 $n^2 \cdot \mathrm{poly}(\log n)$ 时间。
• 该方法通过利用相同的矩阵乘积核心技术，可扩展至 $\mathsf{SYM} \circ \mathsf{THR}$ 电路。

实验结果

研究问题

• RQ1 我们能否在 $2^n \cdot \mathrm{poly}(n)$ 时间内，对大小为亚指数的 $\mathsf{ACC} \circ \mathsf{THR}$ 电路的所有 $2^n$ 个输入评估其对称函数？
• RQ2 此类算法能否导致 $\mathsf{ACC} \circ \mathsf{THR}$ 和 $\mathsf{ACC} \circ \mathsf{SYM}$ 电路类中 $\mathsf{NEXP}$ 的非平凡下界？
• RQ3 我们能否改进具有最多亚指数个约束和大权重的 0-1 整数线性规划的运行时间？
• RQ4 是否存在一条通往证明深度为两层的阈值电路（$\mathsf{THR} \circ \mathsf{THR}$）非均匀下界的路径？

主要发现

• 一种算法可在 $2^n \cdot \mathrm{poly}(n)$ 时间内评估大小为 $2^{n^{o(1)}}$ 的 $\mathsf{ACC} \circ \mathsf{THR}$ 电路的所有 $2^n$ 个赋值。
• 对于大小为亚指数的 $\mathsf{ACC} \circ \mathsf{THR}$ 电路，其满足赋值的数量可在 $2^{n - n^\varepsilon}$ 时间内计算，其中 $\varepsilon > 0$ 依赖于深度和模数。
• $\mathsf{NEXP}$ 不具有准多项式大小的 $\mathsf{ACC} \circ \mathsf{THR}$ 电路，解决了该类的一个开放问题。
• 每个具有 $n$ 个变量和 $s$ 个约束的 0-1 整数线性规划问题，可在 $2^{n - \Omega(n / ((\log M)(\log s)^5))} \cdot \mathrm{poly}(s,n,M)$ 时间内以高概率求解。
• 对于系数在 $[-2^{\mathrm{poly}(n)}, 2^{\mathrm{poly}(n)}]$ 范围内且约束数量为 $\mathrm{poly}(n)$ 的情况，运行时间为 $2^{n - \Omega(n / \log^6 n)}$，优于穷举搜索。
• 该算法可在 $2^n \cdot \mathrm{poly}(n)$ 时间内评估具有指数权重和 $2^{n/24}$ 大小的两层阈值电路（$\mathsf{THR} \circ \mathsf{THR}$），表明非均匀下界现在有望被证明。