[论文解读] Neural Networks with Small Weights and Depth-Separation Barriers

Gal Vardi, Shamir, Ohad|arXiv (Cornell University)|May 31, 2020

Stochastic Gradient Optimization Techniques参考文献 24被引用 5

一句话总结

本文通过将问题简化为电路复杂性中的开放性问题，建立了在权重多项式有界条件下证明ReLU神经网络深度分离性的根本障碍。研究表明，任何可由具有任意权重的常数深度、多项式宽度网络近似的函数，同样可由深度为3k+3且权重多项式有界的网络近似，这意味着自然证明障碍限制了在深度4以上的进展。

ABSTRACT

In studying the expressiveness of neural networks, an important question is whether there are functions which can only be approximated by sufficiently deep networks, assuming their size is bounded. However, for constant depths, existing results are limited to depths $2$ and $3$, and achieving results for higher depths has been an important open question. In this paper, we focus on feedforward ReLU networks, and prove fundamental barriers to proving such results beyond depth $4$, by reduction to open problems and natural-proof barriers in circuit complexity. To show this, we study a seemingly unrelated problem of independent interest: Namely, whether there are polynomially-bounded functions which require super-polynomial weights in order to approximate with constant-depth neural networks. We provide a negative and constructive answer to that question, by showing that if a function can be approximated by a polynomially-sized, constant depth $k$ network with arbitrarily large weights, it can also be approximated by a polynomially-sized, depth $3k+3$ network, whose weights are polynomially bounded.

研究动机与目标

• 研究是否存在某些函数需要深度网络才能实现高效近似，特别是在权重多项式有界的情况下。
• 考察在深度4以上证明深度分离性的局限性，尤其是在权重约束下。
• 通过将深度分离问题转化为伪随机函数构造中的已知障碍，弥合神经网络表达能力和电路复杂性之间的差距。
• 解决一个根本性问题：在常数深度网络中，多项式有界函数是否需要超多项式权重？
• 建立深度为3k+3且权重多项式有界的网络可模拟任意具有任意权重的常数深度网络，从而限制深度分离证明的范围。

提出的方法

• 将ReLU网络中深度分离问题简化为电路复杂性中的开放性问题，特别是自然证明障碍。
• 采用构造性论证，表明任何可由具有任意权重的常数深度网络近似的函数，均可通过深度为3k+3且权重多项式有界的更深网络重新表达。
• 应用分解技术，通过深度为2且宽度多项式的ReLU网络表示分段线性函数。
• 利用输入分布上的期望分析，对单个输入维度上的近似误差进行界控。
• 为从条件期望导出的单变量函数构建一个深度为2、宽度多项式的网络，利用ReLU网络的分段线性结构。
• 通过在L2范数下使用三角不等式，结合各维度上的误差传播界，确保整体近似误差保持在ε以内。

实验结果

研究问题

• RQ1 在常数深度ReLU网络中需要大权重的函数，是否能通过权重多项式有界的更深网络实现高效近似？
• RQ2 在深度4以上，证明深度分离性的根本限制是什么？
• RQ3 电路复杂性中的自然证明障碍在多大程度上阻碍了在ReLU网络中证明深度分离结果的进展？
• RQ4 是否存在一个深度为3k+3且权重多项式有界的网络，能够模拟任意具有任意权重的常数深度网络？
• RQ5 即使增加深度，权重大小的约束是否从根本上限制了深层网络的表达能力？

主要发现

• 任何可由具有任意权重的常数深度、多项式宽度ReLU网络近似的函数，同样可由深度为3k+3且权重多项式有界的网络近似。
• 本文提供了构造性证明，表明此类深度为3k+3的网络确实存在，从而建立了深度与权重大小之间的直接权衡。
• 近似误差被控制在ε以内，且在d个维度上的总L2误差被界为d × (ε/d) = ε。
• 该结果意味着，此前被认为仅与布尔电路相关的电路复杂性中的自然证明障碍，同样约束了实值ReLU网络中的深度分离证明。
• 对于深度k ≥ 4，由于深度4的阈值电路中存在伪随机函数族，当前自然证明技术很可能无法证明深度分离结果。
• 该构造表明，深度为2且宽度多项式的网络可模拟任意具有poly(n)段的单变量分段线性函数，这是整体归约的关键。