[论文解读] The Barron Space and the Flow-induced Function Spaces for Neural Network Models

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Jun 18, 2019

Model Reduction and Neural Networks参考文献 17被引用 6

一句话总结

本文引入了两层神经网络的最优函数空间——Barron 空间，以及残差网络的流诱导函数空间，建立了直接与逆逼近定理，并获得了最优的 Rademacher 复杂度界。这些空间刻画了可被其对应模型高效逼近的函数，其范数控制逼近误差与估计误差，从而实现与维度无关的误差率，并实现最优的一般化缩放。

ABSTRACT

One of the key issues in the analysis of machine learning models is to identify the appropriate function space and norm for the model. This is the set of functions endowed with a quantity which can control the approximation and estimation errors by a particular machine learning model. In this paper, we address this issue for two representative neural network models: the two-layer networks and the residual neural networks. We define the Barron space and show that it is the right space for two-layer neural network models in the sense that optimal direct and inverse approximation theorems hold for functions in the Barron space. For residual neural network models, we construct the so-called flow-induced function space, and prove direct and inverse approximation theorems for this space. In addition, we show that the Rademacher complexity for bounded sets under these norms has the optimal upper bounds.

研究动机与目标

• 确定控制两层与残差神经网络模型逼近误差与估计误差的合适函数空间及其范数。
• 利用新定义的函数空间，为这些模型建立直接与逆逼近定理。
• 证明这些空间中有界集合的 Rademacher 复杂度达到最优上界，从而实现最优的一般化误差缩放。
• 通过将函数空间正则性与逼近效率相联系，为理解神经网络如何克服维度灾难提供理论基础。
• 通过为深度学习架构定义类比于核方法（RKHS）的函数空间，扩展核方法与神经网络之间的类比。

提出的方法

• 将 Barron 空间定义为权重空间单位球面上有界测度的积分变换所表示的函数集合，Barron 范数用于量化此类表示的复杂度。
• 利用源自残差结构的路径范数，构建残差网络的流诱导函数空间，其中范数通过残差路径上的矩阵乘积定义。
• 证明直接逼近定理，表明 Barron 空间与流诱导空间中的函数可被神经网络以误差率 $ O(1/m) $ 逼近，其中 $ m $ 为神经元数量。
• 建立逆逼近定理，表明若某函数可实现此类误差率的逼近，则其必属于相应函数空间。
• 推导这些空间中有界集合的 Rademacher 复杂度的最优上界，表明 $ \operatorname{Rad}_{n}(\mathcal{F}^{Q}) \leq C_{0} \frac{Q}{\sqrt{n}} $，与核方法的最优速率一致。
• 使用离散形式的连续范数（如加权路径范数）分析残差网络，并证明随着深度增加，逼近误差趋于收敛。

实验结果

研究问题

• RQ1 什么函数空间最适合刻画两层神经网络的逼近性质？
• RQ2 如何通过明确定义的函数空间控制残差神经网络的逼近与估计误差？
• RQ3 能否对神经网络假设空间的 Rademacher 复杂度实现最优上界控制，且该控制是否导致最优的一般化误差缩放？
• RQ4 Barron 空间与流诱导函数空间在高维逼近中与 Sobolev 空间或 RKHS 等经典函数空间相比如何？
• RQ5 是否存在一个理论框架，通过函数空间范数统一核方法、两层网络与深度残差网络的逼近理论？

主要发现

• Barron 空间是两层神经网络的最优函数空间，因其支持直接与逆逼近定理，确保函数属于该空间当且仅当其可被以 $ O(1/m) $ 误差率逼近。
• 对于残差网络，流诱导函数空间通过加权路径范数构建，该空间中的函数可被以 $ O(1/m) $ 误差率逼近，且范数控制逼近速率。
• 残差网络假设空间的 Rademacher 复杂度上界为 $ 18Q\sqrt{\frac{2\log(2d)}{n}} $，达到最优的 $ O(1/\sqrt{n}) $ 一般化误差缩放。
• 所有三种模型——核方法、两层网络与残差网络——的一般化误差均以 $ O(1/m) + O(1/\sqrt{n}) $ 的速率缩放，系数由目标函数在各自函数空间范数下的值决定。
• Barron 空间与流诱导空间中的范数并非标准范数，而是从逼近过程中自然导出的泛函，可同时控制逼近误差与估计误差。
• 残差网络的函数空间严格大于两层网络的函数空间，且同一函数在残差网络范数下值更小，表明深度学习模型具有方差减小效应。