[论文解读] Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives

Yahong Yang, Haizhao Yang+1 more|arXiv (Cornell University)|May 15, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文建立了具有 ReLU 激活函数的深度神经网络（DNN）导数的近乎最优的 VC-维和伪维边界，通过新颖地分析链式法则依赖关系实现。主要贡献是 DNN 导数的 VC-维的紧致边界 $\mathcal{O}(N^2L^2\log L\log N)$，该边界支持最优的 Sobolev 空间逼近，并为物理信息模型和基于导数的学习模型提供了更紧致的一般化误差边界。

ABSTRACT

This paper addresses the problem of nearly optimal Vapnik--Chervonenkis dimension (VC-dimension) and pseudo-dimension estimations of the derivative functions of deep neural networks (DNNs). Two important applications of these estimations include: 1) Establishing a nearly tight approximation result of DNNs in the Sobolev space; 2) Characterizing the generalization error of machine learning methods with loss functions involving function derivatives. This theoretical investigation fills the gap of learning error estimations for a wide range of physics-informed machine learning models and applications including generative models, solving partial differential equations, operator learning, network compression, distillation, regularization, etc.

研究动机与目标

• 为解决深度神经网络导数复杂度缺乏紧致理论边界的现状，该问题在 Sobolev 训练和物理信息机器学习中至关重要。
• 弥合使用涉及函数导数的损失函数的模型在一般化误差估计方面的差距。
• 建立 DNN 导数的 VC-维和伪维的近乎最优边界，克服先前次优分析的局限性。

提出的方法

• 提出一种新方法，通过显式建模链式法则引入的依赖关系，分析 DNN 导数的复合结构。
• 通过精细分析基于 ReLU 的 DNN $\phi$ 的弱导数 $D_i\phi$，推导复杂度边界。
• 为宽度 $\leq N$、深度 $\leq L$ 且具有 ReLU 激活函数的 DNN 建立几乎最优的 VC-维边界 $\text{VCdim}(D\Phi) \leq \bar{C}N^2L^2\log_2 L\log_2 N$。
• 利用 Dudley 定理和基于伪维的覆盖数边界，估计 Rademacher 复杂度和一般化误差。
• 应用基于伪维的覆盖数估计 $\mathcal{N}(\varepsilon, \mathcal{F}, n) \leq \left(\frac{2enB}{\varepsilon \cdot \text{Pdim}(\mathcal{F})}\right)^{\text{Pdim}(\mathcal{F})}$ 控制一般化误差。
• 推导出导数类的一般化误差边界 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$，其中 $M$ 为训练样本数。

实验结果

研究问题

• RQ1 对于具有有界宽度和深度的基于 ReLU 的深度神经网络，其导数的最优 VC-维是多少？
• RQ2 如何对 DNN 导数的伪维进行边界控制，以实现基于 Sobolev 范数损失函数的紧致一般化误差估计？
• RQ3 能否利用 DNN 导数中由链式法则引起的项之间复杂依赖关系，推导出比以往方法更紧致的复杂度边界？
• RQ4 与现有结果相比，所推导的边界在 Sobolev 空间逼近误差方面改善程度如何？
• RQ5 所推导的复杂度边界在多大程度上转化为使用基于导数的损失函数的机器学习模型的一般化误差紧致边界？

主要发现

• 基于 ReLU 的 DNN 导数类 $D\Phi$ 的 VC-维被限制在 $\mathcal{O}(N^2L^2\log L\log N)$，该边界近乎最优。
• 导数类 $D\widetilde{\Phi}$ 的伪维被限制在 $\mathcal{O}(N^2L^2\log L\log N)$，其阶与 VC-维边界一致。
• 导数类的 Rademacher 复杂度被限制在 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$，其中 $M$ 为训练样本数。
• 基于导数的损失函数的一般化误差被限制在 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$，比以往结果更紧致。
• 所推导的边界支持 Sobolev 空间中近乎最优的逼近率，证实了在此设定下 DNN 的理论最优性。
• 该分析通过考虑 DNN 导数中链式法则项的乘法结构，解决了先前工作中的一项关键局限，从而显著改进了边界。