[论文解读] Representation formulas and pointwise properties for Barron functions

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Jun 10, 2020

Model Reduction and Neural Networks参考文献 29被引用 24

一句话总结

本文建立了Barron函数（即能由无限宽两层ReLU神经网络表示的函数）的表示公式与点态性质，表明此类函数可分解为有界部分与正齐次部分。研究证明仅仿射 $ C^1 $-微分同胚保持Barron空间，且具有分形或弯曲奇点集的函数（如距离函数）无法以有限路径范数表示，揭示了两层网络的根本局限性。

ABSTRACT

We study the natural function space for infinitely wide two-layer neural networks with ReLU activation (Barron space) and establish different representation formulae. In two cases, we describe the space explicitly up to isomorphism. Using a convenient representation, we study the pointwise properties of two-layer networks and show that functions whose singular set is fractal or curved (for example distance functions from smooth submanifolds) cannot be represented by infinitely wide two-layer networks with finite path-norm. We use this structure theorem to show that the only $C^1$-diffeomorphisms which Barron space are affine. Furthermore, we show that every Barron function can be decomposed as the sum of a bounded and a positively one-homogeneous function and that there exist Barron functions which decay rapidly at infinity and are globally Lebesgue-integrable. This result suggests that two-layer neural networks may be able to approximate a greater variety of functions than commonly believed.

研究动机与目标

• 表征能由无限宽两层ReLU神经网络表示的函数（即Barron函数）的结构。
• 为Barron函数建立表示公式，阐明其点态与几何性质。
• 确定哪些 $ C^1 $-微分同胚在复合下保持Barron空间，揭示神经网络可表示性的结构约束。
• 研究具有分形或弯曲奇点集的函数（如光滑子流形的距离函数）是否能以有限路径范数在两层网络中表示。
• 证明每个Barron函数可分解为有界部分与正齐一次齐次部分，且部分函数在无穷远处快速衰减。

提出的方法

• 利用傅里叶变换与加权 $ L^1 $-范数推导Barron函数的表示公式，将其与通过 $ \int_{\mathbb{R}^d} |\hat{f}(\xi)| (1 + |\xi|^2) \, d\xi < \infty $ 定义的 $ C_f $-范数联系起来。
• 利用结构定理分析Barron函数的奇点集，表明在 $ C^1 $-微分同胚下，仅超平面可作为奇点集出现。
• 应用分解结果，证明每个Barron函数均为有界函数与正齐一次齐次函数之和。
• 分析路径范数约束，证明具有分形或弯曲奇点集的函数（如光滑子流形的距离函数）无法以有限路径范数表示。
• 采用光滑化技术与微分几何方法，证明非仿射 $ C^1 $-微分同胚不保持Barron空间。
• 利用ReLU激活函数的齐次性与无界性，推导出涉及 $ \sum |a_i| (|w_i| + |b_i|) \leq 4C_f r $ 的系数界，将其与路径范数联系起来。

实验结果

研究问题

• RQ1 哪些 $ C^1 $-微分同胚在复合下保持Barron函数空间？
• RQ2 具有分形或弯曲奇点集的函数（如光滑子流形的距离函数）能否以有限路径范数在两层ReLU网络中表示？
• RQ3 Barron函数的点态结构是什么？它们能否被分解为有界函数与正齐一次齐次函数等更简单的分量？
• RQ4 Barron函数在多大程度上能逼近具有复杂奇点集的函数？其可表示性受到何种几何约束？
• RQ5 Barron函数能否在无穷远处快速衰减，同时仍是全局Lebesgue可积的？

主要发现

• 仅仿射 $ C^1 $-微分同胚在复合下保持Barron空间；非仿射微分同胚则不保持。
• 具有分形或弯曲奇点集的函数（如光滑子流形的距离函数）无法以有限路径范数由两层ReLU网络表示。
• 每个Barron函数均可分解为有界函数与正齐一次齐次函数之和。
• 存在在无穷远处快速衰减且全局Lebesgue可积的Barron函数，表明其表示能力广于以往所认为。
• 任何Barron函数的奇点集必须是有限个超平面的并集，从而排除了曲线或分形等任意低维集合作为奇点集的可能性。
• Barron函数类在局部意义下不被保持：一个函数在区域的每个邻域内都是Barron函数，但未必在整个区域上是Barron函数，如通过U形区域的反例所示。