[论文解读] The Upper Bound on Knots in Neural Networks

Kai Chen|arXiv (Cornell University)|Nov 29, 2016

Neural Networks and Applications参考文献 6被引用 10

一句话总结

该论文推导出从 ℝ 到 ℝᵖ 映射的深层全连接 ReLU 神经网络中，其一阶导数不连续点（即结点）数量的精确且紧致的上界。通过将此类网络建模为多变量线性样条，证明了结点最大数量大致等于所有隐藏层宽度的乘积，并在较弱的宽度约束下展示了该上界是可实现的，从而为单输入网络的表达能力提供了理论极限。

ABSTRACT

Neural networks with rectified linear unit activations are essentially multivariate linear splines. As such, one of many ways to measure the "complexity" or "expressivity" of a neural network is to count the number of knots in the spline model. We study the number of knots in fully-connected feedforward neural networks with rectified linear unit activation functions. We intentionally keep the neural networks very simple, so as to make theoretical analyses more approachable. An induction on the number of layers $l$ reveals a tight upper bound on the number of knots in $\mathbb{R} o \mathbb{R}^p$ deep neural networks. With $n_i \gg 1$ neurons in layer $i = 1, \dots, l$, the upper bound is approximately $n_1 \dots n_l$. We then show that the exact upper bound is tight, and we demonstrate the upper bound with an example. The purpose of these analyses is to pave a path for understanding the behavior of general $\mathbb{R}^q o \mathbb{R}^p$ neural networks.

研究动机与目标

• 建立深层 ReLU 网络中结点（拐点）数量的精确理论上限，作为模型复杂度和表达能力的度量。
• 分析该上界达到紧致性的结构约束条件，从而可对给定任务的网络容量进行事前评估。
• 为将这些结果推广到多维输入空间 ℝ^𝑞→ℝ^𝑝 奠定基础，此类空间目前在分析上仍具挑战性。
• 作为表达能力的理论“壁垒”极限，通过识别可能的最大分段线性复杂度，指导神经网络架构设计。

提出的方法

• 将全连接 ReLU 网络建模为 ℝ→ℝᵖ 空间中的连续分段线性函数（线性样条），其中结点对应输出不可微的点。
• 通过层数 𝑙 的归纳法，推导出结点数量的精确上界，表达式为 𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1)。
• 通过构造一种规范化的网络变换，仅使用前向传播的 ReLU 单元，简化了各层之间结点生成的分析。
• 通过显式构造一个网络配置（满足 𝑛_𝑖 ≥ 3 对 𝑖 < 𝑙 且 𝑛_𝑙 ≥ 2）来证明该上界的紧致性，该配置实现了理论上的最大结点数。
• 通过一个包含三层隐藏层的详细示例验证该上界，展示每一层如何通过锯齿状激活模式最大化增加结点数量。
• 利用输出层组合分段线性输出而不改变结点数量，从而保持来自最后一层隐藏层的总结点数不变。

实验结果

研究问题

• RQ1 在给定深度和宽度的条件下，深层 ReLU 网络可能拥有的最大结点数是多少？
• RQ2 在何种条件下该上界是紧致的？在实际中是否可以实现？
• RQ3 在单输入多输出的 ReLU 网络中，结点数量如何随深度和宽度的增加而增长？
• RQ4 该理论上的上界能否用作设计约束，以判断某个网络是否足够复杂以完成特定的函数逼近任务？
• RQ5 为了实现最大结点数，网络的哪些结构特性（如权重、偏置）是必要的？

主要发现

• 𝑙 层 ReLU 网络中结点数量的上界精确表示为 𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1)，当宽度较大时近似为 𝑛₁⋯𝑛_𝑙。
• 当每个隐藏层 𝑖（除最后一层外）满足 𝑛_𝑖 ≥ 3，且最后一层隐藏层满足 𝑛_𝑙 ≥ 2 时，该上界是紧致的。
• 通过一个包含三层隐藏层（𝑛₁=3, 𝑛₂=4, 𝑛₃=2）的构造性示例，成功实现了恰好 83 个结点，验证了理论上的最大值。
• 结点数量随层宽度呈乘法增长，表明即使在单输入情况下，表达能力也随深度呈指数级增长。
• 该上界基于 ReLU 激活函数和全连接架构的假设推导得出，适用于整个输出，而非每个输出维度。
• 该结果为 ℝ→ℝ^𝑝 网络建立了表达能力的理论上限，可用于排除在复杂任务中宽度或深度不足的网络架构。