[论文解读] On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|Oct 3, 2019

Neural Networks and Applications参考文献 12被引用 4

一句话总结

本文通过引入样本分解（即采样与插值过程的配对），将无限维逼近问题简化为有限维问题，从而建立了无限维神经网络的通用逼近理论。证明了具有无限输入/输出单元和有限隐藏单元的两层神经网络能够一致逼近任意连续非线性算子，实现了对这类一致逼近所需最小网络架构规模的首个上界估计。

ABSTRACT

The study of universal approximation of arbitrary functions $f: \mathcal{X} o \mathcal{Y}$ by neural networks has a rich and thorough history dating back to Kolmogorov (1957). In the case of learning finite dimensional maps, many authors have shown various forms of the universality of both fixed depth and fixed width neural networks. However, in many cases, these classical results fail to extend to the recent use of approximations of neural networks with infinitely many units for functional data analysis, dynamical systems identification, and other applications where either $\mathcal{X}$ or $\mathcal{Y}$ become infinite dimensional. Two questions naturally arise: which infinite dimensional analogues of neural networks are sufficient to approximate any map $f: \mathcal{X} o \mathcal{Y}$, and when do the finite approximations to these analogues used in practice approximate $f$ uniformly over its infinite dimensional domain $\mathcal{X}$? In this paper, we answer the open question of universal approximation of nonlinear operators when $\mathcal{X}$ and $\mathcal{Y}$ are both infinite dimensional. We show that for a large class of different infinite analogues of neural networks, any continuous map can be approximated arbitrarily closely with some mild topological conditions on $\mathcal{X}$. Additionally, we provide the first lower-bound on the minimal number of input and output units required by a finite approximation to an infinite neural network to guarantee that it can uniformly approximate any nonlinear operator using samples from its inputs and outputs.

研究动机与目标

• 解决输入或输出空间为无限维时，非线性算子与基映射通用逼近的开放问题。
• 建立有限神经网络可一致逼近无限维算子的条件。
• 提供有限神经网络实现对非线性算子一致逼近所需最小输入与输出单元数的首个上界。
• 利用范畴论技术将经典通用逼近定理推广至无限维函数空间。

提出的方法

• 引入样本分解作为采样与插值过程的配对，保持拓扑结构，实现无限维问题向有限维问题的转化。
• 利用样本分解的函子性质，将有限维设置下的通用逼近性质推广至无限维设置。
• 将经典通用逼近定理应用于由样本分解导出的有限维逼近。
• 利用覆盖数与算子正则性与函数空间正则性之比，推导最小网络规模的上界。
• 运用范畴论工具，形式化有限维与无限维神经网络架构之间的关系。
• 利用 C(K) 等函数空间的结构，定义并分析具有可控误差与阶数的样本分解。

实验结果

研究问题

• RQ1 具有无限输入/输出单元和有限隐藏单元的两层神经网络，能否一致逼近任意连续非线性算子？
• RQ2 有限神经网络实现对任意非线性算子一致逼近，所需最小的输入与输出单元数是多少？
• RQ3 在何种条件下，无限维神经网络的有限逼近能继承通用逼近性质？
• RQ4 如何保证非线性基映射（从有限维输出空间到无限维输出空间）的通用逼近？
• RQ5 能否利用定义域空间的覆盖数与目标算子的正则性来界定所需网络规模？

主要发现

• 将求和替换为积分后，具有两层结构的无限维神经网络可一致逼近任意连续非线性算子，其定义域与值域分别为 C(K) 与 C(K') 空间。
• 具有无限多输入与输出单元但仅有有限隐藏单元的有限神经网络，可一致逼近任意连续非线性算子。
• 实现一致逼近所需的最小输入与输出单元数，其上界由定义域的覆盖数与算子正则性与函数空间正则性之比决定。
• 最小网络规模的上界通过定义域空间的覆盖数与目标算子的正则性推导得出，显式依赖于 ε 与 λ。
• 样本分解可将无限维逼近问题转化为具有可控误差与阶数的有限维问题，确保一致收敛。
• 本研究首次为无限维设定下非线性算子一致逼近所需最小网络规模提供了理论保证。