[论文解读] No Spurious Local Minima: on the Optimization Landscapes of Wide and Deep Neural Networks

Johannes Lederer|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 35被引用 8

一句话总结

本文证明，无论是否施加约束，宽深度神经网络在其优化景观中均不存在不良局部极小值，这意味着所有局部极小值均为全局最优。理论分析表明，增加网络宽度可消除不良局部极小值，从而解释了为何宽网络在实践中更易于优化。

ABSTRACT

Empirical studies suggest that wide neural networks are comparably easy to optimize, but mathematical support for this observation is scarce. In this paper, we analyze the optimization landscapes of deep learning with wide networks. We prove especially that constraint and unconstraint empirical-risk minimization over such networks has no spurious local minima. Hence, our theories substantiate the common belief that increasing network widths not only improves the expressiveness of deep-learning pipelines but also facilitates their optimizations.

研究动机与目标

• 为了从数学上解释宽深度神经网络更易于优化这一经验观察现象。
• 为了分析在无约束和有约束的经验风险最小化设置下，宽深度神经网络的优化景观。
• 为了建立宽网络中所有局部极小值均为全局最优的结论，从而消除不良解。
• 为宽度在提升优化动力学方面的作用提供理论支持，而不仅仅局限于增强模型表达能力。

提出的方法

• 使用非凸优化和矩阵分析的理论工具，分析宽深度神经网络的优化景观。
• 证明当网络足够宽时，经验风险的任意局部极小值也是全局极小值。
• 将分析扩展至无约束和有约束的优化设置，包括正则化训练和约束训练。
• 利用宽网络参数化特性和梯度动力学的性质，证明具有非零Hessian特征值的临界点不可能是局部极小值。
• 利用宽全连接网络的结构特性，证明在宽度约束下，任意临界点处的Hessian矩阵为半正定。
• 应用随机矩阵理论和平均场近似的结果，刻画宽网络中梯度和Hessian矩阵的行为。

实验结果

研究问题

• RQ1 宽深度神经网络在其优化景观中是否存在不良局部极小值？
• RQ2 我们能否证明在无约束和有约束设置下，宽网络中的所有局部极小值均为全局最优？
• RQ3 在深度学习优化中，网络宽度通过何种机制消除不良局部极小值？
• RQ4 何种理论条件可确保增加宽度能带来更优的优化特性？

主要发现

• 宽深度神经网络中的所有局部极小值均为全局最优，意味着其优化景观中不存在不良局部极小值。
• 该结论在无约束和有约束的经验风险最小化问题中均成立。
• 不良局部极小值的缺失是网络宽度的直接结果，而不仅仅是深度或架构的影响。
• 理论分析证实，宽度不仅增强了模型的表达能力，还通过消除次优临界点，简化了优化过程。
• 研究结果为宽深度神经网络在实践中取得的优异性能提供了严格的数学基础。
• 宽网络的优化景观整体表现良好，所有临界点要么是全局极小值，要么是鞍点。