[论文解读] Nearly Optimal Approximation Rates for Deep Super ReLU Networks on Sobolev Spaces

Yahong Yang, Yue Wu+2 more|arXiv (Cornell University)|Oct 16, 2023

Asphalt Pavement Performance EvaluationEngineering被引用 3

一句话总结

本文提出深度超 ReLU 网络（DSRNs），通过在最后几层结合使用 ReLU 和平方 ReLU 激活函数，实现在 Sobolev 空间 $W^{m,p}$ 中对高阶导数的近似，其中 $m \geq 2$。通过仅在 $O(\log_2 L)$ 层中战略性地使用平方 ReLU，DSRNs 在保持 ReLU 网络训练优势的同时，实现了近乎最优的近似率，并通过高阶导数的 VC- 和伪维数分析，提供了泛化与最优性的理论保证。

ABSTRACT

This paper introduces deep super ReLU networks (DSRNs) as a method for approximating functions in Sobolev spaces measured by Sobolev norms $W^{m,p}$ for $m\in\mathbb{N}$ with $m\ge 2$ and $1\le p\le +\infty$. Standard ReLU deep neural networks (ReLU DNNs) cannot achieve this goal. DSRNs consist primarily of ReLU DNNs, and several layers of the square of ReLU added at the end to smooth the networks output. This approach retains the advantages of ReLU DNNs, leading to the straightforward training. The paper also proves the optimality of DSRNs by estimating the VC-dimension of higher-order derivatives of DNNs, and obtains the generalization error in Sobolev spaces via an estimate of the pseudo-dimension of higher-order derivatives of DNNs.

研究动机与目标

• 解决标准 ReLU 深层神经网络在 Sobolev 空间 $W^{m,p}$（$m \geq 2$）中近似具有高阶导数函数时的局限性。
• 开发一种深层网络架构，在保持 ReLU 网络训练效率的同时，实现计算高阶导数所必需的平滑输出。
• 通过估计 DNN 高阶导数的 VC- 维与伪维，建立近似率的理论最优性。
• 通过基于伪维数的导数复杂度估计，提供 Sobolev 范数下的泛化误差界。

提出的方法

• 提出深度超 ReLU 网络（DSRNs），在除最后几层外的所有层使用标准 ReLU，而在最后几层应用 ReLU 的平方以增强平滑性。
• 将平方 ReLU 层的数量限制为 $O(\log_2 L)$，其中 $L$ 为网络深度，以控制复杂度，同时确保满足 $W^{m,p}$ 近似的充分平滑性。
• 利用 ReLU 与平方 ReLU 的复合结构，构建出其高阶导数表现良好且适合进行泛化分析的网络。
• 应用伪维数与 VC- 维理论分析 DSRNs 高阶导数的复杂度，从而在 Sobolev 范数下获得泛化误差界。
• 通过第二阶导数的伪维数推导泛化误差界，得到如下形式的界：$\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$。
• 在 1D Poisson 方程上通过物理信息神经网络（PINNs）对方法进行数值验证，将 DSRN 与全平方 ReLU 网络进行比较，结果表明 DSRN 在近似解及其导数方面表现更优。

实验结果

研究问题

• RQ1 能否对基于 ReLU 的深层神经网络进行修改，使其在 Sobolev 空间 $W^{m,p}$（$m \geq 2$）中实现近乎最优的近似率？
• RQ2 为确保平滑性而不牺牲训练效率，应如何最优地放置并确定平方 ReLU 层的数量？
• RQ3 当近似具有高阶导数的函数时，如何在 Sobolev 范数下对 DNN 的泛化误差进行界？
• RQ4 VC- 维与伪维在表征 DNN 高阶导数复杂度方面起什么作用？
• RQ5 能否利用如伪维数等导数复杂度度量，证明 DSRNs 的近似率是最优的？

主要发现

• DSRNs 在 $m \geq 2$ 的 $W^{m,p}$ 空间中实现了近乎最优的近似率，克服了标准 ReLU DNN 固有的非平滑性缺陷。
• 所需平方 ReLU 层的数量为 $O(\log_2 L)$，这在保证充分平滑性的同时，维持了计算效率与训练稳定性。
• Sobolev 范数下的泛化误差被界为 $\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$，其中 $M$ 为样本大小。
• DSRNs 第二阶导数的伪维数被界为 $O(NL(\log_2 L \log_2 N)^{1/2})$，从而支持了紧致的泛化误差估计。
• 数值实验表明，DSRNs 能够准确近似 1D Poisson 方程的解及其导数，优于采用全平方 ReLU 激活的网络。
• 理论框架表明，DSRNs 在近似率方面是最优的，因为所推导的界与已知的极小极大率仅相差对数因子。