[论文解读] On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 38被引用 18

一句话总结

本文提出了一类新的巴拿赫空间，适用于深度ReLU网络，可实现与维度无关的逼近速率和较低的雷电曼复杂度，从而确保良好的泛化性能。该研究建立了无限宽多层网络的连续梯度流动力学，表明路径范数最多以多项式方式增长，从而为深度学习理论中的函数表示和范数选择提供了理论依据。

ABSTRACT

We develop Banach spaces for ReLU neural networks of finite depth $L$ and infinite width. The spaces contain all finite fully connected $L$-layer networks and their $L^2$-limiting objects under bounds on the natural path-norm. Under this norm, the unit ball in the space for $L$-layer networks has low Rademacher complexity and thus favorable generalization properties. Functions in these spaces can be approximated by multi-layer neural networks with dimension-independent convergence rates. The key to this work is a new way of representing functions in some form of expectations, motivated by multi-layer neural networks. This representation allows us to define a new class of continuous models for machine learning. We show that the gradient flow defined this way is the natural continuous analog of the gradient descent dynamics for the associated multi-layer neural networks. We show that the path-norm increases at most polynomially under this continuous gradient flow dynamics.

研究动机与目标

• 为具有无限宽度和有限深度的多层ReLU网络构建一个严格的函数空间框架。
• 通过一种新颖的函数表示方法，建立离散深度网络训练与连续梯度流动力学之间的联系。
• 证明所提出的巴拿赫空间可实现较低的雷电曼复杂度，暗示有利的泛化特性。
• 证明在连续梯度流下，路径范数最多以多项式方式增长，从而确保训练动力学的稳定性。
• 利用树状索引结构和基于期望的函数表示，将逼近理论从两层网络推广至深层网络。

提出的方法

• 通过将权重索引重新组织为树状结构，引入了‘神经树’空间，从而为深层网络函数逼近提供线性化视角。
• 基于权重路径的期望定义了一种新型路径范数，该范数在重参数化下保持不变，并能控制泛化性能。
• 通过树状结构权重分布的期望复合表示函数，实现连续建模。
• 在神经树空间的一个子空间上构建了连续梯度流动力学，其来源于深度网络的离散梯度下降。
• 使用测度论工具严格定义函数空间，并证明梯度流的存在性与唯一性。
• 应用直接与逆逼近定理，证明该空间中的函数可实现与输入维度$d$无关的收敛速率。

实验结果

研究问题

• RQ1 何种巴拿赫空间结构可支持深度ReLU网络的低雷电曼复杂度与与维度无关的逼近性能？
• RQ2 如何对深层网络中的函数进行表示，以实现连续优化与泛化分析？
• RQ3 在深层、无限宽网络中，路径范数在连续梯度流动力学下的行为如何？
• RQ4 能否将深度网络的离散梯度下降恢复为在良好定义的函数空间中连续梯度流的离散化？
• RQ5 所提出的函数空间与现有空间（如Barron空间）有何关系？其在深度学习理论中具有何种优势？

主要发现

• 所提出的$L$层ReLU网络巴拿赫空间具有较低的雷电曼复杂度，在路径范数约束下可确保良好的泛化性能。
• 该空间中的函数可由多层神经网络逼近，且收敛速率与输入维度$d$无关。
• 连续梯度流动力学定义良好且稳定，路径范数随时间最多以多项式方式增长。
• 有限深度、无限宽ReLU网络的梯度下降动力学可作为所提出连续梯度流的离散化被恢复。
• 神经树空间为深层网络提供了自然的函数空间，满足直接与逆逼近定理。
• 在连续训练下，路径范数保持有界，支持模型的稳定性和可学习性。