[论文解读] The universal approximation theorem for complex-valued neural networks.

Felix Voigtländer|arXiv (Cornell University)|Dec 6, 2020

Machine Learning in Materials Science参考文献 36被引用 6

一句话总结

本文将通用逼近定理推广至复值神经网络，证明当激活函数 σ 既非全纯也非反全纯时，具有至少两层隐藏层的深度网络可实现通用逼近；而浅层网络则要求 σ 的实部或虚部非多调和。该结果揭示了深度与浅层复值网络在逼近能力上的根本差异。

ABSTRACT

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} o \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N o \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of good activation functions which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

研究动机与目标

• 将经典的通用逼近定理推广至神经网络的复数域。
• 确定哪些复数激活函数可使前馈神经网络实现通用逼近。
• 区分浅层与深层复值网络实现通用逼近的条件。
• 刻画全纯、反全纯及多调和性质在激活函数中对逼近能力的作用。

提出的方法

• 本文分析具有分量激活函数 σ: ℂ → ℂ 的前馈复值神经网络。
• 将每个神经元建模为 z ↦ σ(b + w^T z)，其中 w ∈ ℂ^N 且 b ∈ ℂ 为复权重与偏置。
• 分析基于复分析理论，特别是全纯与反全纯函数的性质。
• 区分深度网络（≥2 个隐藏层）与浅层网络（1 个隐藏层）在逼近行为上的差异。
• 证明依赖于刻画激活函数 σ 的特性，使得网络能在 ℂ^d 的紧子集上一致逼近任意连续函数。
• 利用多项式、全纯与反全纯函数在某些架构中无法提供通用逼近的事实。

实验结果

研究问题

• RQ1 哪些复数激活函数可使具有至少两层隐藏层的深层前馈网络实现通用逼近？
• RQ2 激活函数 σ 需满足何种条件，才能使浅层复值网络实现通用逼近？
• RQ3 为何深层与浅层复值网络在实现通用逼近时表现出根本不同的要求？
• RQ4 全纯与反全纯函数如何影响复值神经网络的逼近能力？
• RQ5 σ 的实部或虚部的多调和性质在决定浅层网络通用逼近能力方面起什么作用？

主要发现

• 当且仅当激活函数 σ 既非多项式，也非全纯或反全纯函数时，具有至少两层隐藏层的深层网络可实现通用逼近。
• 当且仅当 σ 的实部或虚部非多调和函数时，浅层网络可实现通用逼近。
• 深层与浅层网络之间的差异源于深层网络能更有效地利用非解析行为进行逼近。
• 多项式、全纯与反全纯函数因具有解析结构，不足以在深层网络中实现通用逼近。
• 该结果揭示了浅层与深层复值网络在逼近能力上的根本不对称性。
• 该表征为复值神经网络实现通用逼近提供了完整且充要的条件。