[论文解读] Neural Network Architecture Beyond Width and Depth

Zuowei Shen, Haizhao Yang+1 more|arXiv (Cornell University)|May 19, 2022

Neural Networks and Applications被引用 4

一句话总结

本文通过在传统宽度和深度之外引入一个新的超参数——高度，提出了一种新颖的三维神经网络架构——NestNet。通过将子网络递归地作为激活函数组合，NestNets 实现了更优的逼近能力：在 O(n) 参数量下，高度为 s 的 NestNet 可在 [0,1]^d 上以 O(n^{-(s+1)/d}) 的误差逼近 1-Lipschitz 函数，优于标准 ReLU 网络在相同参数预算下仅能达到的 O(n^{-2/d}) 误差。

ABSTRACT

This paper proposes a new neural network architecture by introducing an additional dimension called height beyond width and depth. Neural network architectures with height, width, and depth as hyper-parameters are called three-dimensional architectures. It is shown that neural networks with three-dimensional architectures are significantly more expressive than the ones with two-dimensional architectures (those with only width and depth as hyper-parameters), e.g., standard fully connected networks. The new network architecture is constructed recursively via a nested structure, and hence we call a network with the new architecture nested network (NestNet). A NestNet of height $s$ is built with each hidden neuron activated by a NestNet of height $\le s-1$. When $s=1$, a NestNet degenerates to a standard network with a two-dimensional architecture. It is proved by construction that height-$s$ ReLU NestNets with $\mathcal{O}(n)$ parameters can approximate $1$-Lipschitz continuous functions on $[0,1]^d$ with an error $\mathcal{O}(n^{-(s+1)/d})$, while the optimal approximation error of standard ReLU networks with $\mathcal{O}(n)$ parameters is $\mathcal{O}(n^{-2/d})$. Furthermore, such a result is extended to generic continuous functions on $[0,1]^d$ with the approximation error characterized by the modulus of continuity. Finally, we use numerical experimentation to show the advantages of the super-approximation power of ReLU NestNets.

研究动机与目标

• 为解决标准二维神经网络（仅含宽度和深度）在逼近率上已接近最优所带来的理论与实际限制。
• 提出一种新型网络架构范式，引入第三个超参数——高度，以显著提升模型的表达能力。
• 证明将子网络递归嵌套为激活函数可实现超越标准网络的超逼近能力。
• 通过图像分类任务的数值实验验证理论优势。

提出的方法

• 提出一种三维架构，其中神经网络由高度、宽度和深度作为超参数定义，扩展了传统二维设计。
• 引入嵌套网络（NestNet）作为递归架构：高度为 s 的 NestNet 使用高度 ≤ s−1 的子网络作为其神经元的激活函数。
• 采用 ReLU 激活函数，并通过嵌套组合构建网络，实现在子网络间共享参数。
• 利用连续模函数推导理论逼近误差界，并将其应用于 [0,1]^d 上的 1-Lipschitz 函数与一般连续函数。
• 设计一种改进的 CNN 架构（CNN2），将部分 ReLU 激活函数替换为子网络（高度为 2 的 NestNet），以与标准 CNN（CNN1）进行对比。
• 采用 RAdam 优化器并配合学习率调度、批量归一化和 Dropout 以稳定训练，并在 Fashion-MNIST 上评估性能。

实验结果

研究问题

• RQ1 在宽度和深度之外引入新的架构维度——高度，是否能显著提升逼近能力？
• RQ2 与标准 ReLU 网络相比，高度为 s 的 ReLU NestNet 的逼近误差如何随参数数量变化？
• RQ3 将子网络递归嵌套为激活函数是否能在实际深度学习任务中带来更好的泛化能力与性能？
• RQ4 NestNet 的高度与其逼近具有给定连续模函数的连续函数的能力之间存在何种理论关系？

主要发现

• 在 O(n) 参数量下，高度为 s 的 ReLU NestNet 对 [0,1]^d 上的 1-Lipschitz 函数逼近误差为 O(n^{-(s+1)/d})，显著优于标准 ReLU 网络在相同参数预算下仅能达到的 O(n^{-2/d}) 误差。
• 对于一般连续函数，高度为 s 的 NestNet 的逼近误差由连续模函数表征，表明随着高度增加，收敛速率得到显著提升。
• 在 Fashion-MNIST 上的数值实验表明，基于 NestNet 的 CNN（CNN2）在最后 100 个周期的平均测试准确率达到 0.9260，优于标准 CNN（CNN1）的 0.9244，尽管训练时间略长且多出 10 个参数。
• CNN2 中表现最佳的实验达到 92.66% 的测试准确率，超过 CNN1 的最高准确率 92.53%，证实了 NestNet 架构在实际应用中的优势。
• 理论与实证结果共同表明，由于通过嵌套子网络实现的递归参数共享，NestNets 具备超逼近能力。