[论文解读] The Universal Approximation Property: Characterizations, Existence, and a Canonical Topology for Deep-Learning

Anastasis Kratsios|arXiv (Cornell University)|Oct 8, 2019

Neural Networks and Applications被引用 9

一句话总结

本文在任意函数空间中建立了前馈神经网络通用逼近性质（UAP）的一般表征，构建了一种保证UAP的典范拓扑，并证明了能够输出0和1的基于Sigmoid的网络可普遍逼近任意欧几里得空间之间的集合函数。此外，还表明具有任意输入维度的网络可逼近任意连续函数，从而使其适用于超高维学习场景。

ABSTRACT

The universal approximation property (UAP) of feed-forward neural networks is systematically studied for arbitrary families of functions in general function spaces. Two characterizations of the UAP are found, conditions for the existence of a small family of functions with the UAP are given, and a canonical topology guaranteeing that a set of functions has the UAP is explicitly constructed. These general results are applied to two concrete problems in learning theory. First, it is shown that neural network architectures with a sigmoid activation function achieving the values 0 and 1 are capable of approximating any set function between two Euclidean spaces for the canonical topology. As a second application of our results, it is shown that any continuous function accepting an arbitrary number of inputs can be approximated by a neural network receiving an arbitrary number of inputs. This makes these networks suitable for learning problems where the dimension of the data is diverging, such as in ultra-high dimensional situations.

研究动机与目标

• 在一般函数空间中系统表征前馈神经网络的通用逼近性质（UAP）。
• 识别出小函数族实现UAP的条件。
• 构建一种典范拓扑，以确保给定函数族的UAP。
• 将理论结果应用于学习理论中的两个具体问题：集合函数的逼近和具有任意输入维度的连续函数的逼近。

提出的方法

• 利用泛函分析在一般函数空间中推导出UAP的两种表征。
• 基于拓扑与代数性质，识别出存在具有UAP的小函数族的充分条件。
• 显式构建一种专为确保给定函数族的UAP而设计的典范拓扑。
• 将典范拓扑应用于证明：能够输出0和1的Sigmoid激活函数的神经网络可在典范拓扑下普遍逼近任意欧几里得空间之间的集合函数。
• 将该框架扩展，以证明具有任意输入维度的连续函数可被神经网络普遍逼近。
• 运用拓扑与逼近论论证，确立典范拓扑在保证通用逼近方面的有效性。

实验结果

研究问题

• RQ1 在任意函数空间中，通用逼近性质的一般表征是什么？
• RQ2 在何种条件下，存在一个满足通用逼近性质的小函数族？
• RQ3 如何构建一种典范拓扑，以确保给定函数族具备UAP？
• RQ4 能否利用具有Sigmoid激活函数且能输出0和1的神经网络普遍逼近任意欧几里得空间之间的集合函数？
• RQ5 具有任意输入维度的神经网络能否普遍逼近任意连续函数，尤其是在超高维设置下？

主要发现

• 为前馈神经网络在任意函数空间中推导出两种通用逼近性质（UAP）的一般表征。
• 基于拓扑与函数性质，建立了存在具备UAP的小函数族的充分条件。
• 显式构建了一种典范拓扑，可确保给定函数族的UAP。
• 在典范拓扑下，具有Sigmoid激活函数且能输出0和1的神经网络可普遍逼近任意两个欧几里得空间之间的集合函数。
• 任何接受任意数量输入的连续函数均可被神经网络普遍逼近，使此类架构适用于超高维学习问题。
• 该理论框架为理解输入维度发散场景下的通用逼近提供了基础，例如现代高维数据应用。