[论文解读] ResNet with one-neuron hidden layers is a Universal Approximator

Hongzhou Lin, Stefanie Jegelka|arXiv (Cornell University)|Jun 28, 2018

Model Reduction and Neural Networks参考文献 10被引用 97

一句话总结

该论文证明一个具有一个神经元隐藏层且使用 ReLU 激活的非常深的 ResNet，能够在 R^d 上对任意 Lebesgue 可积函数进行均匀近似，展示窄型 ResNet 的普适近似能力。

ABSTRACT

We demonstrate that a very deep ResNet with stacked modules with one neuron per hidden layer and ReLU activation functions can uniformly approximate any Lebesgue integrable function in $d$ dimensions, i.e. $\ell_1(\mathbb{R}^d)$. Because of the identity mapping inherent to ResNets, our network has alternating layers of dimension one and $d$. This stands in sharp contrast to fully connected networks, which are not universal approximators if their width is the input dimension $d$ [Lu et al, 2017; Hanin and Sellke, 2017]. Hence, our result implies an increase in representational power for narrow deep networks by the ResNet architecture.

研究动机与目标

• 研究具有极端宽度约束的 ResNet 架构的表示能力。
• 证明带有一个隐藏神经元的深度具有普适近似能力。
• 将窄型 ResNet 与全连接网络在普适近似极限方面进行比较。

提出的方法

• 定义具有一个隐藏神经元且带单位跳跃连接的基本残差块。
• 构造一个逐步逼近方案，在有限网格上构建 increasing 梯形函数（网格指示函数）。
• 证明基本块实现平移、常数的最小/最大以及带线性变换的最小/最大，以构建分段常数近似。
• 通过归纳法和网格单元分解将一维构造推广到更高维。
• 证明所构造的 ResNet 可以逼近任何分段常数函数，因此通过密度论证对 l1(R^d) 中的任意 f 进行近似。

实验结果

研究问题

• RQ1 带有一个隐藏神经元的 ResNet 是否能够对 R^d 上的所有 Lebesgue 可积函数实现普适近似？
• RQ2 在等于输入维度的宽度约束下，使用单位恒等映射的 ResNet 架构如何影响表达能力？
• RQ3 单个一个神经元残差块能够实现哪些构建块和运算以实现分段常数近似？
• RQ4 如何将一维构造推广到更高维以实现多维普适近近？

主要发现

• 具有一个隐藏神经元块和 ReLU 激活的 ResNet 可以对 l1(R^d) 中的任意 f 以任意精度近似。
• 该构造使用逐步的梯形函数近似和有限网格上的网格指示函数。
• 基本残差块实现平移、常数的最小/最大以及带线性变换的最小/最大，从而实现复杂的函数成形。
• 通过对维度的归纳，将一维的梯形构建技术推广到高维。
• 隐藏单元/层的数量与近似所需的网格单元数量成正比，若每层允许更多单元则可并行化。