[论文解读] Topological properties of the set of functions generated by neural networks of fixed size

Philipp Petersen, Mones Raslan+1 more|arXiv (Cornell University)|Jun 21, 2018

Machine Learning and ELM被引用 7

一句话总结

本文研究了固定架构神经网络可实现函数集合的拓扑结构，发现该集合通常不具备凸性，不满足 $L^p$ 或 $L^\infty$ 范数下的闭包性（ReLU 和 PReLU 除外），且缺乏逆稳定性。这些性质解释了深度学习中根本性的训练挑战，如非收敛、参数爆炸和优化缓慢，即使函数差异极小亦然。

ABSTRACT

We analyze the topological properties of the set of functions that can be implemented by neural networks of a fixed size. Surprisingly, this set has many undesirable properties. It is highly non-convex, except possibly for a few exotic activation functions. Moreover, the set is not closed with respect to $L^p$-norms, $0 < p < \\infty$, for all practically-used activation functions, and also not closed with respect to the $L^\\infty$-norm for all practically-used activation functions except for the ReLU and the parametric ReLU. Finally, the function that maps a family of weights to the function computed by the associated network is not inverse stable for every practically used activation function. In other words, if $f_1, f_2$ are two functions realized by neural networks and if $f_1, f_2$ are close in the sense that $\\|f_1 - f_2\\|_{L^\\infty} \\leq \\varepsilon$ for $\\varepsilon > 0$, it is, regardless of the size of $\\varepsilon$, usually not possible to find weights $w_1, w_2$ close together such that each $f_i$ is realized by a neural network with weights $w_i$. Overall, our findings identify potential causes for issues in the training procedure of deep learning such as no guaranteed convergence, explosion of parameters, and slow convergence.

研究动机与目标

• 分析固定规模神经网络可实现函数集合的拓扑性质，重点关注凸性、闭包性与稳定性。
• 识别固定规模网络函数空间中的结构性缺陷，这些缺陷可能构成深度学习实际训练困难的根源。
• 研究从网络权重到函数的实现映射是否具有逆稳定性，这是优化收敛性的关键性质。
• 确定在何种激活函数下，函数空间在 $L^p$ 和 $L^\infty$ 范数下是闭包的。
• 提供一种非渐近的、几何化的解释，说明观测到的深度学习训练不稳定性，独立于统计或逼近理论框架。

提出的方法

• 构建一系列基于 ReLU 的神经网络，其利普希茨常数递增，但在紧致定义域上一致收敛于零。
• 使用实现映射 $\mathrm{R}^\Omega_\varrho$ 将网络权重映射到 $C(\Omega)$ 中的函数，分析其拓扑性质。
• 应用缩放范数 $\|\cdot\|_{\mathrm{scaling}}$ 以限制实现函数的利普希茨常数，建立网络权重与函数光滑性之间的联系。
• 运用商映射理论，证明当函数集合不闭包时，实现映射不是商映射。
• 利用函数集合在 $L^\infty$-范数下不闭包以及利普希茨常数无界的事实，证明其缺乏逆稳定性。
• 基于权重范数有界性与利普希茨常数无界性的矛盾论证，证明关键的拓扑性质。

实验结果

研究问题

• RQ1 对于标准激活函数，固定规模神经网络可实现的函数集合是否具有凸性？
• RQ2 在哪些 $L^p$-范数下，函数集合是闭包的？这种闭包性如何依赖于激活函数？
• RQ3 从网络权重到函数的实现映射是否具有逆稳定性，即小的函数差异是否意味着小的权重差异？
• RQ4 固定规模网络的函数空间是否能在一致收敛下保持闭包性？这对优化有何影响？
• RQ5 函数空间的哪些拓扑性质可解释训练不稳定性，如非收敛或参数爆炸？

主要发现

• 对于任何标准激活函数（除可能的奇异类型外），固定规模神经网络可实现的函数集合均不具备凸性。
• 对于所有实际使用的激活函数，函数集合在 $L^p$-范数下（$0 < p < \infty$）均不闭包。
• 对于所有标准激活函数，函数集合在 $L^\infty$-范数下均不闭包，除非是 ReLU 和参数化 ReLU。
• 对于所有实际使用的激活函数，实现映射均不具有逆稳定性，即小的函数差异不意味着小的权重差异。
• 即使函数一致收敛于零，实现函数的利普希茨常数仍可无限增大，表明权重到函数映射存在不稳定性。
• 这些拓扑缺陷——非凸性、非闭包性以及缺乏逆稳定性——为深度学习中常见的训练问题（如非收敛与参数爆炸）提供了几何解释。