[论文解读] Size and Depth Separation in Approximating Benign Functions with Neural Networks

Gal Vardi, Daniel Reichman+2 more|arXiv (Cornell University)|Jan 30, 2021

Machine Learning and Algorithms参考文献 43被引用 4

一句话总结

本文研究了ReLU神经网络在逼近‘良性’函数时的表达能力——即具有多项式有界利普希茨常数且可高效计算的函数。研究建立了复杂性理论障碍，表明证明此类函数的深度或大小分离将解决计算复杂性领域长期悬而未决的问题。具体而言，若能证明深度分离超过深度4，或大小分离超过O(d log²d)，将解决复杂性理论中的重大开放问题。此外，本文构造了一个显式的良性函数，其所需网络规模为Ω(d/log d)，从而证明了O(d)与o(d/log d)规模网络之间存在严格分离。

ABSTRACT

When studying the expressive power of neural networks, a main challenge is to understand how the size and depth of the network affect its ability to approximate real functions. However, not all functions are interesting from a practical viewpoint: functions of interest usually have a polynomially-bounded Lipschitz constant, and can be computed efficiently. We call functions that satisfy these conditions "benign", and explore the benefits of size and depth for approximation of benign functions with ReLU networks. As we show, this problem is more challenging than the corresponding problem for non-benign functions. We give barriers to showing depth-lower-bounds: Proving existence of a benign function that cannot be approximated by polynomial-size networks of depth $4$ would settle longstanding open problems in computational complexity. It implies that beyond depth $4$ there is a barrier to showing depth-separation for benign functions, even between networks of constant depth and networks of nonconstant depth. We also study size-separation, namely, whether there are benign functions that can be approximated with networks of size $O(s(d))$, but not with networks of size $O(s'(d))$. We show a complexity-theoretic barrier to proving such results beyond size $O(d\log^2(d))$, but also show an explicit benign function, that can be approximated with networks of size $O(d)$ and not with networks of size $o(d/\log d)$. For approximation in $L_\infty$ we achieve such separation already between size $O(d)$ and size $o(d)$. Moreover, we show superpolynomial size lower bounds and barriers to such lower bounds, depending on the assumptions on the function. Our size-separation results rely on an analysis of size lower bounds for Boolean functions, which is of independent interest: We show linear size lower bounds for computing explicit Boolean functions with neural networks and threshold circuits.

研究动机与目标

• 理解网络规模与深度如何影响对‘良性’函数的逼近——即具有多项式有界利普希茨常数且可高效计算的函数。
• 研究深度与规模是否在逼近此类函数时提供实质性优势，尤其是在实际、现实世界学习任务的背景下。
• 识别证明良性函数深度与规模分离的根本复杂性理论障碍。
• 构造显式良性函数示例，以展示所需网络规模或深度的严格分离。

提出的方法

• 将‘良性’函数定义为具有poly(d)-利普希茨常数且可在指数时间或多项式时间内计算的函数。
• 将证明深度分离的问题归约为已知的复杂性理论假设，例如EXP ⊈ TC⁰_{k-2}。
• 通过在平移输入上进行概率平均，证明单个网络可在平移域上逼近某一函数，从而实现规模压缩。
• 构建一个规模为O(d)的神经网络，以计算具有poly(d)-利普希茨性质的显式布尔函数（例如集合不相交性）。
• 对逼近网络应用阈值变换，以恢复布尔输出，从而将网络规模与布尔电路下界联系起来。
• 利用已知的阈值电路线性规模下界，推导出ReLU网络的规模下界。

实验结果

研究问题

• RQ1 深度是否能在逼近良性函数方面提供显著优势，尤其是在深度超过4之后？
• RQ2 在常数深度网络中，是否存在证明良性函数深度分离的根本复杂性理论障碍？
• RQ3 能否证明良性函数的规模分离？此类证明的极限是什么？
• RQ4 逼近显式良性函数所需的最小网络规模是多少？其与已知下界相比如何？
• RQ5 良性函数的规模与深度分离如何与TC⁰和P等复杂性类相关联？

主要发现

• 若能证明某一良性函数无法被深度为4或更深层次的多项式规模网络逼近，则意味着EXP ⊈ TC⁰_{k-2}，这是复杂性理论中的一个重大开放问题。
• 在O(d log²d)规模以上存在复杂性理论障碍，因为此类结果将解决电路复杂性中的开放问题。
• 存在一个显式的良性函数，可被规模为O(d)的网络逼近，但无法被规模为o(d/log d)的网络逼近，从而确立了超常数规模分离。
• 在L∞逼近下，规模O(d)与规模o(d)之间存在严格分离，表明对某些良性函数而言，O(d)在渐近意义上是最优的。
• 阈值电路的线性规模下界意味着ReLU网络在计算相同布尔函数时也具有线性规模下界，从而为证明网络规模下界提供了新途径。
• 本文构造了一个可在多项式时间内计算的良性函数，其可由常数深度、规模为O(d)的ReLU网络实现，但任何在L∞误差1/3内逼近它的网络都至少需要Ω(d)规模。