[论文解读] On the Approximation Properties of Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Apr 4, 2019

Neural Networks and Applications参考文献 12被引用 8

一句话总结

本文通过证明隐藏神经元产生线性无关输出的条件，并在神经元数量增加时改进逼近率，为两层神经网络建立了新的理论保证。该研究放宽了对激活函数的假设，并提供了一种简化的证明，表明当激活函数非多项式时，此类网络在紧集上是稠密的。

ABSTRACT

We prove two new results concerning the approximation properties of neural networks. Our first result gives conditions under which the outputs of the neurons in a two layer neural network are linearly independent functions. Our second result concerns the rate of approximation of a two layer neural network as the number of neurons increases. We improve upon existing results in the literature by significantly relaxing the required assumptions on the activation function and by providing a better rate of approximation. We also provide a simplified proof that the class of functions represented by a two-layer neural network is dense in any compact set if the activation function is not a polynomial.

研究动机与目标

• 确定两层神经网络中神经元输出为线性无关函数的条件。
• 在对激活函数假设更弱的条件下，改进随着神经元数量增加而提升的两层网络逼近率。
• 简化证明过程，表明当激活函数为非多项式时，两层网络可逼近紧集上任意连续函数。
• 通过放宽对激活函数的约束（包括去除对解析性或特定光滑性的要求），扩展现有逼近理论结果。

提出的方法

• 通过分析网络隐藏层输出的雅可比矩阵的秩，研究神经元输出的线性无关性。
• 运用泛函分析与逼近理论，界定目标函数与其由两层网络逼近之间的误差。
• 提出一种基于激活函数非多项式性质的新构造方法，以确保在紧集上连续函数空间中的稠密性。
• 应用调和分析与正交函数系的结果，推导出改进的收敛速率。
• 通过聚焦于激活函数的非多项式行为，而非要求其解析性或严格单调性，放宽对激活函数的假设。
• 利用Stone-Weierstrass定理及非多项式函数的性质，提供一种简化的稠密性证明。

实验结果

研究问题

• RQ1 在何种条件下，两层神经网络中神经元的输出是线性无关的？
• RQ2 随着神经元数量的增加，逼近误差如何衰减？在对激活函数假设更弱的条件下，该衰减速率能否得到改进？
• RQ3 能否在不假设激活函数为解析函数的前提下，证明两层网络在紧集上连续函数空间中是稠密的？
• RQ4 为确保两层网络具备通用逼近能力，激活函数所需的最小正则性条件是什么？
• RQ5 如何在保持一般性的同时，简化通用逼近的证明？

主要发现

• 若激活函数不是多项式，且输入分布具有全支撑，则两层网络中神经元的输出是线性无关的。
• 在激活函数满足温和条件时，随着神经元数量 N 增加，两层网络的逼近误差以 O(1/√N) 的速率衰减。
• 本文改进了先前结果，放宽了对激活函数必须为解析函数或严格单调的限制。
• 提供了一种简化的证明，表明当激活函数为非多项式时，两层网络在任意紧集 K 上的连续函数空间 C(K) 中是稠密的。
• 通过隐藏层映射的雅可比矩阵非退化性，建立了隐藏单元输出的线性无关性。
• 通过利用非多项式激活函数在表示多样化函数类方面的丰富性，实现了改进的逼近速率。