[论文解读] New error bounds for deep networks using sparse grids

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文通过利用稀疏网格逼近，为逼近Korobov空间中多元函数的深层ReLU神经网络建立了新的误差界。结果表明，维度灾难被显著缓解，通过利用二叉树结构模拟稀疏网格的细化过程，实现了深度和大小分别以$\mathcal{O}(|\log_2 \epsilon| \log_2 d)$和$\mathcal{O}(\epsilon^{-1/2} |\log_2 \epsilon|^{3(d-1)/2 + 1} \log_2 d)$的尺度增长的逼近复杂度。

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

研究动机与目标

• 为通过将深层ReLU网络与稀疏网格理论相联系，解决深度学习逼近中的维度灾难问题。
• 为Korobov空间中的函数建立基于深层网络的逼近误差的严格上界。
• 证明深层网络可通过利用层次稀疏网格结构，实现比浅层网络更优的收敛速率。
• 表明网络架构与目标函数无关，仅通过调整权重来适应不同函数。

提出的方法

• 该方法构建一个深层ReLU网络，通过层次基表示来逼近Korobov空间中函数的稀疏网格插值。
• 采用二叉树结构来模拟稀疏网格的细化过程，从而实现对深度和宽度的高效控制。
• 网络使用基函数$\phi_{\boldsymbol{l},\boldsymbol{i}}$和系数$v_{\boldsymbol{l},\boldsymbol{i}}$，其衰减速度为$2^{-|\boldsymbol{l}|_1}$，确保稳定性和收敛性。
• 通过将逼近误差分解为稀疏网格展开的截断误差和基函数的网络逼近误差两部分进行控制。
• 网络深度通过细化级别$\ell$的对数尺度控制，深度为$\mathcal{O}(|\log_2 \delta| \log_2 d)$，其中$\delta$控制截断误差。
• 网络规模由二叉树中活动节点的数量决定，其增长与基函数数量和细化级别相关。

实验结果

研究问题

• RQ1 深层ReLU网络能否通过利用稀疏网格结构，实现对高维函数比浅层网络更优的逼近速率？
• RQ2 在深层网络逼近中，稀疏网格的使用在多大程度上缓解了维度灾难？
• RQ3 如何通过二叉树架构的深层ReLU网络模拟稀疏网格的层次结构？
• RQ4 在此框架中，网络深度和规模对期望精度$\epsilon$和维度$d$的依赖关系如何？
• RQ5 相同的网络架构能否通过仅调整权重来逼近Korobov空间中的所有函数？

主要发现

• 当网络深度为$\mathcal{O}(|\log_2 \epsilon| \log_2 d)$时，逼近误差被控制在$\|f - f_N\|_{\infty} \leq \epsilon$以内。
• 网络规模按$\mathcal{O}(\epsilon^{-1/2} |\log_2 \epsilon|^{3(d-1)/2 + 1} \log_2 d)$增长，相较于经典界显著降低了维度的指数依赖性。
• 通过利用稀疏网格的各向异性结构，该方法有效缓解了维度灾难，该结构与轴对齐函数行为高度匹配。
• 网络架构与目标函数无关，仅通过调整权重$v_{\boldsymbol{l},\boldsymbol{i}}$实现，从而为函数类提供了通用设计。
• 证明依赖于通过二叉树控制系数衰减和基函数逼近，当$\delta = \epsilon/2$时，总误差可被控制在$\epsilon$以内。
• 该方法可推广至任意满足$\ell^2$-衰减且基函数可高效实现的展开形式，表明其具有广泛适用性。