[论文解读] Neural Networks with Finite Intrinsic Dimension have no Spurious Valleys

Luca Venturi, Afonso S. Bandeira+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques参考文献 5被引用 19

一句话总结

该论文证明，当隐藏层大小等于再生核空间的固有维数时，具有平滑、非线性激活函数的两层神经网络在其损失曲面中不存在虚假山谷。这一拓扑保证确保了下降方向始终存在，从而解释了为何在过度参数化条件下，尽管存在非凸性，梯度下降仍能成功。

ABSTRACT

Neural networks provide a rich class of high-dimensional, non-convex optimization problems. Despite their non-convexity, gradient-descent methods often successfully optimize these models. This has motivated a recent spur in research attempting to characterize properties of their loss surface that may be responsible for such success. In particular, several authors have noted that \emph{over-parametrization} appears to act as a remedy against non-convexity. In this paper, we address this phenomenon by studying key topological properties of the loss, such as the presence or absence of valleys, defined as connected components of sub-level sets that do not include a global minimum. Focusing on a class of two-layer neural networks defined by smooth (but generally non-linear) activation functions, our main contribution is to prove that as soon as the hidden layer size matches the \emph{intrinsic} dimension of the reproducing space, defined as the linear functional space generated by the activations, no spurious valleys exist, thus allowing the existence of descent directions. Our setup includes smooth activations such as polynomials, both in the empirical and population risk, and generic activations in the empirical risk case.

研究动机与目标

• 理解为何梯度下降在优化非凸神经网络时能够成功，尽管存在理论上的挑战。
• 研究损失曲面的拓扑结构，特别是虚假山谷的存在或缺失。
• 刻画过参数化在通过激活空间的固有维数消除虚假山谷中的作用。
• 建立在非凸设置下全局下降方向始终存在的条件。

提出的方法

• 分析聚焦于具有平滑、非线性激活函数的两层神经网络。
• 固有维数被定义为激活函数所张成的线性泛函空间的维数。
• 通过子水平集研究损失曲面，其中虚假山谷被定义为不包含全局最小值的连通分支。
• 使用拓扑论证证明：当隐藏层大小等于固有维数时，不存在虚假山谷。
• 该证明适用于经验风险和总体风险设置，经验情况下适用于一般激活函数。
• 分析依赖于再生核希尔伯特空间的性质以及函数逼近的几何结构。

实验结果

研究问题

• RQ1 在何种条件下，两层神经网络的损失曲面中虚假山谷会消失？
• RQ2 隐藏层大小与激活空间的固有维数之间如何关联，以消除虚假山谷？
• RQ3 对于平滑、非线性激活函数，是否能在经验风险和总体风险设置下保证虚假山谷的缺失？
• RQ4 损失曲面的何种拓扑性质可确保从任意点均存在下降方向？
• RQ5 如何通过将隐藏层大小与固有维数匹配来实现过参数化，从而消除虚假山谷？

主要发现

• 当隐藏层大小等于再生空间的固有维数时，两层神经网络的损失曲面中不存在虚假山谷。
• 虚假山谷的缺失保证了从参数空间中任意点均存在下降方向。
• 该结果适用于平滑激活函数（如多项式），在经验风险和总体风险公式中均成立。
• 一旦网络达到函数空间的固有维数，损失曲面的拓扑结构即对优化变得有利。
• 在经验风险情况下，该证明适用于一般激活函数，表明其适用范围广泛，不仅限于特定激活类型。
• 研究结果为过度参数化神经网络中梯度下降的实证成功提供了理论解释。