[论文解读] Universal Approximation Theorem for Neural Networks

Takato Nishijima|arXiv (Cornell University)|Feb 19, 2021

Neural Networks and Applications参考文献 27被引用 9

一句话总结

本文对前馈神经网络的通用逼近定理提供了全面的理论分析，证明在较弱条件下，此类网络可在紧集上稠密逼近任意连续函数。文章进一步研究了逼近速率，并引入Barron空间作为量化逼近误差的框架，其依据为网络宽度和激活函数的性质。

ABSTRACT

Is there any theoretical guarantee for the approximation ability of neural networks? The answer to this question is the "Universal Approximation Theorem for Neural Networks". This theorem states that a neural network is dense in a certain function space under an appropriate setting. This paper is a comprehensive explanation of the universal approximation theorem for feedforward neural networks, its approximation rate problem (the relation between the number of intermediate units and the approximation error), and Barron space in Japanese.

研究动机与目标

• 在函数逼近的背景下，为前馈神经网络的通用逼近定理提供严谨且统一的解释。
• 研究隐藏单元数量与逼近误差之间的关系，解决逼近速率问题。
• 引入并分析Barron空间，作为刻画神经网络逼近误差的函数空间。
• 将通用逼近结果扩展至$L^p$空间及多层、多输出网络。
• 阐明历史发展脉络与基础定理，包括Cybenko、Hornik、Leshno等人以及Barron的成果。

提出的方法

• 利用Stone-Weierstrass定理与Hahn-Banach延拓定理，证明在紧集$K \subset \mathbb{R}^r$上，神经网络函数在$C(K)$中稠密。
• 应用Riesz-Markov-Kakutani表示定理，将连续函数上的线性泛函与Borel测度联系起来。
• 通过卷积与阶梯函数逼近，建立在$L^p$空间与Sobolev空间中的逼近。
• 引入径向基函数的概念，并利用其基本性质，通过线性组合证明通用逼近性。
• 应用Jackson型不等式与$L^p$-范数估计，推导出Sobolev空间与Barron空间中的显式逼近速率。
• 利用Barron空间的概念，刻画傅里叶变换在$L^1$中有界的函数，从而实现基于网络宽度与激活函数光滑性的误差界。

实验结果

研究问题

• RQ1 在何种条件下，具有单隐藏层的前馈神经网络可对紧集上的任意连续函数实现任意精度的逼近？
• RQ2 逼近误差如何依赖于网络中隐藏单元的数量？
• RQ3 激活函数的性质（如非多项式、有界或无界）在实现通用逼近中起到何种作用？
• RQ4 Barron空间如何用于根据函数正则性量化神经网络的逼近误差？
• RQ5 通用逼近性质能否扩展至$L^p$空间与多输出网络？

主要发现

• 由Leshno等人（1993）证明，具有非多项式激活函数的前馈神经网络满足通用逼近定理，扩展了Cybenko（1989）与Hornik（1989）的早期结果。
• 在紧子集上，具有单隐藏层的神经网络可在上确界范数下稠密逼近任意连续函数，即可以实现任意精度逼近。
• 在Sobolev空间中，逼近误差受$O(1/\sqrt{N})$界，其中$N$为隐藏单元数，具体取决于目标函数的光滑性。
• 在适当激活函数下，Barron空间中的函数其逼近误差界为$O(1/N)$，其中$N$为隐藏单元数。
• 该定理可扩展至$1 \leq p < \infty$的$L^p$空间，表明在适当条件下，神经网络在$L^p(\mathbb{R}^r)$中是稠密的。
• 本文证明了径向基函数的集合在$C(\mathbb{R}^r)$中是完备的，为证明通用逼近性提供了关键技术桥梁。