[论文解读] Universal Approximation with Quadratic Deep Networks

Fenglei Fan, Jinjun Xiong+1 more|arXiv (Cornell University)|Jul 31, 2018

Neural Networks and Applications参考文献 42被引用 6

一句话总结

该论文证明了二次深度网络相较于传统深度网络在表达效率、通用逼近能力以及计算容量方面具有显著优势。通过在神经元中用二次函数替代线性内积，作者证明了四个定理，表明二次网络能够更高效地逼近函数，表示传统网络在相同宽度下无法表达的函数，通过ReLU激活实现多项式函数的精确因式分解，并在量化设置下需要更少的参数。

ABSTRACT

Recently, deep learning has achieved huge successes in many important applications. In our previous studies, we proposed quadratic/second-order neurons and deep quadratic neural networks. In a quadratic neuron, the inner product of a vector of data and the corresponding weights in a conventional neuron is replaced with a quadratic function. The resultant quadratic neuron enjoys an enhanced expressive capability over the conventional neuron. However, how quadratic neurons improve the expressing capability of a deep quadratic network has not been studied up to now, preferably in relation to that of a conventional neural network. Regarding this, we ask four basic questions in this paper: (1) for the one-hidden-layer network structure, is there any function that a quadratic network can approximate much more efficiently than a conventional network? (2) for the same multi-layer network structure, is there any function that can be expressed by a quadratic network but cannot be expressed with conventional neurons in the same structure? (3) Does a quadratic network give a new insight into universal approximation? (4) To approximate the same class of functions with the same error bound, is a quantized quadratic network able to enjoy a lower number of weights than a quantized conventional network? Our main contributions are the four interconnected theorems shedding light upon these four questions and demonstrating the merits of a quadratic network in terms of expressive efficiency, unique capability, compact architecture and computational capacity respectively.

研究动机与目标

• 探究二次深度网络在逼近复杂函数时是否相较于传统深度网络具备更高的表达效率。
• 确定二次网络是否能够表示传统同架构网络无法表达的函数。
• 探索二次网络是否为实现通用逼近提供了新途径，从而减少网络深度与宽度。
• 评估在相同逼近误差下，量化后的二次网络是否比量化后的传统网络具有更高的参数效率。

提出的方法

• 提出二次神经元，用输入与权重的二次函数替代传统神经元中的线性内积。
• 利用ReLU激活函数，通过数据驱动的代数因式分解实现多项式函数的精确表示。
• 基于逼近理论构建理论分析，比较二次网络与传统网络的表达能力。
• 应用通用逼近定理，证明二次网络可在有界深度与宽度下实现通用逼近。
• 推导出使用量化二次网络逼近径向函数与多变量多项式函数的复杂度界。
• 采用通用反向传播算法进行训练，支持二次网络参数的端到端学习。

实验结果

研究问题

• RQ1 对于单隐藏层网络，是否存在一类函数，使得二次网络能比传统网络更高效地逼近？
• RQ2 在相同多层架构下，是否存在一类函数，二次网络可以表达而传统网络无法表达？
• RQ3 二次网络框架是否为通用逼近理论提供了新方法或新见解？
• RQ4 在相同函数类与误差界下，量化后的二次网络是否能实现比量化后的传统网络更低的参数数量？

主要发现

• 第一个定理证明，二次网络在逼近某些函数时，所需宽度与深度远低于传统网络，展现出卓越的表达效率。
• 第二个定理表明，仅每层含四个神经元的ReLU二次网络，即可普遍逼近任意在任一方向上非恒定的径向函数，而传统网络在相同宽度约束下无法实现此能力。
• 第三个定理建立：任何多变量多项式均可通过使用ReLU激活的二次网络实现精确表示，实现全局、非分段的逼近——而传统网络依赖分段线性逼近，无法实现全局精确表示。
• 第四个定理表明，量化二次网络的参数复杂度与光滑性参数λ无关，其复杂度界为𝒪(λ(log¹⁄⁽λ⁻¹⁾⁺¹(1⁄ε))(1⁄ε)ᵈ⁄ⁿ)，该界独立于λ，且优于传统网络的对应复杂度。
• 尽管每个二次神经元的参数量为传统神经元的三倍，但在径向函数逼近与多变量多项式表示等关键情形下，二次网络仍需更少的总参数量。
• 结果表明，二次网络具有高度自适应性：在分段逼近时可退化为传统网络，或作为全局代数因式分解器运行，暗示其可通过奥卡姆剃刀原则实现更好的泛化能力。