[论文解读] On the rate of convergence of fully connected very deep neural network regression estimates

Michael Köhler, Sophie Langer|arXiv (Cornell University)|Aug 29, 2019

Neural Networks and Applications参考文献 23被引用 18

一句话总结

本文通过新型的深度ReLU网络逼近理论，建立了使用ReLU激活函数的全连接深度神经网络回归估计器的最优收敛速率，表明在光滑性条件下，无论通过增加深度（层数增多）还是增加宽度（每层神经元增多），均可实现快速收敛速率，从而在不依赖网络稀疏性的前提下规避维度灾难。关键贡献在于为深度ReLU网络提出了一套新颖的逼近理论，从而支持了这些收敛结果的成立。

ABSTRACT

Recent results in nonparametric regression show that deep learning, i.e., neural network estimates with many hidden layers, are able to circumvent the so-called curse of dimensionality in case that suitable restrictions on the structure of the regression function hold. One key feature of the neural networks used in these results is that their network architecture has a further constraint, namely the network sparsity. In this paper we show that we can get similar results also for least squares estimates based on simple fully connected neural networks with ReLU activation functions. Here either the number of neurons per hidden layer is fixed and the number of hidden layers tends to infinity suitably fast for sample size tending to infinity, or the number of hidden layers is bounded by some logarithmic factor in the sample size and the number of neurons per hidden layer tends to infinity suitably fast for sample size tending to infinity. The proof is based on new approximation results concerning deep neural networks.

研究动机与目标

• 研究全连接深度神经网络配合ReLU激活函数是否可在非参数回归中实现快速收敛速率，且无需网络稀疏性约束。
• 在回归函数满足光滑性假设的前提下，建立基于全连接深度网络的最小二乘估计器的理论收敛速率。
• 为深度ReLU网络开发新的逼近结果，以支持高维设置下的收敛性分析。
• 证明通过适当缩放，增加深度和增加宽度均可实现最优收敛速率。

提出的方法

• 论文构建了一种深度ReLU网络架构，通过递归组合乘法与激活函数操作，以受控误差逼近单项式及输入的乘积。
• 证明具有 $ R \cdot \lceil \log_2(N+1) \rceil $ 层、每层 $ 18(N+1) $ 个神经元的ReLU网络，可将单项式 $ \prod_{k=1}^d (x^{(k)})^{r_k} $ 的逼近误差控制在 $ 4 \cdot 4^{4(N+1)} \cdot a^{4(N+1)} \cdot (N+1) \cdot 4^{-R} $ 以内。
• 通过层数 $ R $ 控制逼近误差，表明在固定宽度下，更深的网络可实现指数级减小的误差。
• 通过将逼近误差界与统计风险界结合，推导出神经网络估计器的收敛速率，从而获得 $ L_2 $-风险的收敛速率。
• 分析考虑两种情形：(1) 固定宽度下增加深度，(2) 深度对数增长下增加宽度，二者均能实现最优收敛速率。
• 该方法依赖于乘法与复合操作的递归网络构建，利用ReLU激活函数对分段线性函数的指数表达能力。

实验结果

研究问题

• RQ1 全连接深度神经网络配合ReLU激活函数是否可在非参数回归中实现快速收敛速率，且无需稀疏性约束？
• RQ2 在全连接ReLU网络中，深度与宽度之间存在何种最优权衡，可使回归的 $ L_2 $-风险最小化？
• RQ3 如何通过受控误差逼近高阶单项式，从而实现对光滑回归函数的快速逼近？
• RQ4 在回归函数具有光滑性假设的前提下，深度全连接网络是否可规避维度灾难？

主要发现

• 本文证明，即使在无稀疏性约束下，全连接深度ReLU网络仍可在非参数回归中实现最优收敛速率。
• 对于霍尔德类中光滑参数为 $ s $ 的回归函数，神经网络估计器的 $ L_2 $-风险收敛速率为 $ n^{-\frac{2s}{2s+d}} $，与极小极大最优速率一致。
• 在 $ d $ 个变量中，$ N $ 次单项式的逼近误差被控制在 $ C \cdot 4^{-R} $ 以内，其中 $ R $ 为递归乘法网络所用层数。
• 网络构造实现了随深度增加的指数级误差衰减，表明仅增加深度（固定宽度）即可实现快速收敛。
• 当宽度随样本量 $ n $ 增加，且深度受 $ \log n $ 限制时，估计器仍可达到最优速率，表明宽度可补偿深度的有限性。
• 结果表明，当回归函数具有组合或分层结构时，即使在全连接架构下，也可避免维度灾难。