[论文解读] The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks

Itay Safran, Gilad Yehudai+1 more|arXiv (Cornell University)|Jun 1, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用 6

一句话总结

本文研究了在高斯输入的教师-学生设置下，浅层 ReLU 网络中适度过参数化——即仅增加一个或两个神经元——如何改变其优化景观。证明表明，尽管过参数化破坏了全局最小值附近的局部凸性和标准强凸性，但它使非全局最小值变为鞍点，从而解释了为何在过参数化设置下梯度下降能更轻松地取得成功，即使失去了有利的局部几何结构。

ABSTRACT

We study the effects of mild over-parameterization on the optimization landscape of a simple ReLU neural network of the form $\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{ op}\mathbf{x}\}$, in a well-studied teacher-student setting where the target values are generated by the same architecture, and when directly optimizing over the population squared loss with respect to Gaussian inputs. We prove that while the objective is strongly convex around the global minima when the teacher and student networks possess the same number of neurons, it is not even \emph{locally convex} after any amount of over-parameterization. Moreover, related desirable properties (e.g., one-point strong convexity and the Polyak-Łojasiewicz condition) also do not hold even locally. On the other hand, we establish that the objective remains one-point strongly convex in \emph{most} directions (suitably defined), and show an optimization guarantee under this property. For the non-global minima, we prove that adding even just a single neuron will turn a non-global minimum into a saddle point. This holds under some technical conditions which we validate empirically. These results provide a possible explanation for why recovering a global minimum becomes significantly easier when we over-parameterize, even if the amount of over-parameterization is very moderate.

研究动机与目标

• 从理论上解释为何适度过参数化（例如 n = k+1）在参数增加极少的情况下，能显著提升浅层 ReLU 网络的优化成功率。
• 分析在学生网络相对于教师网络过参数化时，损失景观中的几何变化，特别是凸性和曲率的变化。
• 确定有利的优化特性（如局部强凸性或 Polyak-Łojasiewicz 条件）在过参数化后是否仍然存在。
• 研究非全局最小值在过参数化下的命运，特别是它们是否变为鞍点。
• 在标准凸性失效的情况下，基于大多数方向上的单点强凸性，建立新的优化保证。

提出的方法

• 分析在标准高斯输入下，训练具有 n 个神经元的浅层 ReLU 网络以匹配 k 个神经元教师网络的总体平方损失目标函数。
• 利用几何和代数技术（包括权重向量的角度分析）刻画所有二阶可导点和全局最小值。
• 证明当 n > k 时，即使过参数化程度极小，损失函数在全局最小值附近也不是局部凸的。
• 引入并利用大多数方向上的单点强凸性概念，推导出在小扰动下梯度下降的新收敛保证。
• 证明通过将一个神经元‘分裂’为两个方向相同的分量，增加一个神经元可使任意非全局最小值变为具有下降方向的鞍点。
• 通过实验验证理论结果所需的神经元范数的技术条件，特别是关于鞍点变换的条件。

实验结果

研究问题

• RQ1 在浅层 ReLU 网络中，适度过参数化是否在全局最小值附近保持局部凸性？
• RQ2 在过参数化后，标准优化友好特性（如 Polyak-Łojasiewicz 条件或单点强凸性）是否在局部仍然成立？
• RQ3 当学生网络比教师网络多一个或两个神经元时，非全局最小值会发生什么变化？
• RQ4 即使标准凸性丧失，大多数方向上的单点强凸性是否仍能支持收敛保证？
• RQ5 是否存在一种几何机制（如鞍点的生成），可解释适度过参数化下优化动态的改善？

主要发现

• 当 n > k 时，即使过参数化程度极小，损失函数在全局最小值附近也不是局部凸的，这与欠参数化情况下的行为相矛盾。
• 标准强凸性和 Polyak-Łojasiewicz 条件在过参数化设置下，于全局最小值附近也均不成立。
• 尽管局部凸性丧失，损失函数在大多数方向上仍保持单点强凸性，从而为带有小扰动的梯度下降提供了新的收敛保证。
• 通过将一个神经元分裂为两个方向相同的分量，仅增加一个神经元即可使任意非全局最小值变为具有下降方向的鞍点。
• 在神经元范数满足一个技术性条件的前提下，非全局最小值变为鞍点的变换关系成立，该条件已通过实验验证。
• 这些结果为为何适度过参数化能显著提升浅层 ReLU 网络的优化成功率提供了几何解释。