[论文解读] Nearly-tight VC-dimension bounds for piecewise linear neural networks

Nick Harvey, Chris Liaw+1 more|arXiv (Cornell University)|Mar 8, 2017

Stochastic Gradient Optimization Techniques被引用 108

一句话总结

该论文建立了深度ReLU神经网络VC维的近乎紧致界，证明了上界为$ O(W L \log W) $，下界为$ \Omega(W L \log(W/L)) $，其中$ W $为参数数量，$ L $为层数。此外，论文还展示了关于非线性单元$ U $的紧致$ \Theta(WU) $界，该结果可推广至所有分段线性激活函数。

ABSTRACT

We prove new upper and lower bounds on the VC-dimension of deep neural networks with the ReLU activation function. These bounds are tight for almost the entire range of parameters. Letting $W$ be the number of weights and $L$ be the number of layers, we prove that the VC-dimension is $O(W L \log(W))$ and $\Omega( W L \log(W/L) )$. This improves both the previously known upper bounds and lower bounds. In terms of the number $U$ of non-linear units, we prove a tight bound $\Theta(W U)$ on the VC-dimension. All of these results generalize to arbitrary piecewise linear activation functions.

研究动机与目标

• 为深度ReLU网络VC维的先前已知上界与下界之间的差距提供闭合。
• 建立适用于广泛网络参数范围的紧致渐近界。
• 将结果从ReLU推广至所有分段线性激活函数。
• 分析VC维对关键架构超参数（参数数量$ W $、层数$ L $、非线性单元数$ U $）的依赖关系。

提出的方法

• 通过分析ReLU网络所诱导的线性区域数量，推导上界。
• 通过精心设计深度与宽度，构建显式网络结构，以实现下界。
• 基于参数数量与分段线性函数结构，应用维度论证。
• 通过线性区域计数中的结构不变性，将界从ReLU推广至任意分段线性激活函数。
• 在界中引入对数尺度，以反映深度与宽度在控制VC维中的相互作用。
• 通过在参数空间内使上界与下界在对数因子范围内匹配，证明边界的紧致性。

实验结果

研究问题

• RQ1 以参数数量$ W $与层数$ L $表示时，深度ReLU网络VC维的最紧致上界是什么？
• RQ2 此类网络VC维的最强已知下界是什么？其随$ W $与$ L $如何变化？
• RQ3 VC维如何随非线性单元数$ U $变化？该关系是否紧致？
• RQ4 ReLU网络所导出的界能否推广至其他分段线性激活函数？
• RQ5 界在多大程度上依赖于网络的深度与宽度？它们如何反映架构设计？

主要发现

• 深度ReLU网络的VC维上界为$ O(W L \log W) $，优于先前的上界。
• 建立了匹配的下界$ \Omega(W L \log(W/L)) $，表明上界在参数空间的大部分范围内近乎紧致。
• 以非线性单元$ U $表示的界被精确刻画为$ \Theta(WU) $，表明其与$ U $呈线性依赖关系。
• 由于线性区域复杂度的结构相似性，结果可推广至所有分段线性激活函数，而不仅限于ReLU。
• 界中的对数因子反映了深度与宽度在控制网络容量时的权衡关系。
• 分析结果证实，深度与宽度共同对VC维产生比单独任一因素更显著的影响，对数尺度准确捕捉了这种相互作用。