[论文解读] Non-attracting Regions of Local Minima in Deep and Wide Neural Networks

Henning Petzka, Cristian Sminchisescu|arXiv (Cornell University)|Dec 16, 2018

Neural Networks and Applications参考文献 39被引用 6

一句话总结

本文证明，在具有Sigmoid激活函数的深层且极宽的全连接神经网络中，尽管退化，子优局部极小值仍可能存在。通过构造性方法，证明这些极小值位于非吸引区域，意味着可通过损失曲面上的非递增路径逃离，解释了为何梯度方法在存在此类极小值的情况下仍能成功。

ABSTRACT

Understanding the loss surface of neural networks is essential for the design of models with predictable performance and their success in applications. Experimental results suggest that sufficiently deep and wide neural networks are not negatively impacted by suboptimal local minima. Despite recent progress, the reason for this outcome is not fully understood. Could deep networks have very few, if at all, suboptimal local optima? or could all of them be equally good? We provide a construction to show that suboptimal local minima (i.e., non-global ones), even though degenerate, exist for fully connected neural networks with sigmoid activation functions. The local minima obtained by our construction belong to a connected set of local solutions that can be escaped from via a non-increasing path on the loss curve. For extremely wide neural networks of decreasing width after the wide layer, we prove that every suboptimal local minimum belongs to such a connected set. This provides a partial explanation for the successful application of deep neural networks. In addition, we also characterize under what conditions the same construction leads to saddle points instead of local minima for deep neural networks.

研究动机与目标

• 研究子优局部极小值是否存在于深层且极宽的神经网络中，以挑战所有局部极小值均为全局极小值的假设。
• 表征这些局部极小值的几何结构，特别是其是否位于吸引区域或非吸引区域。
• 将先前关于单隐层网络的结果扩展至在宽层之后宽度非递增的更深架构。
• 阐明初始化和随机性在避免子优极小值中的作用，即使这些极小值存在。
• 确定在何种条件下，相同构造在深层网络中产生鞍点而非局部极小值。

提出的方法

• 利用Fukumizu和Amari（2000）提出的方法，在浅层网络中构造子优局部极小值家族，然后将其扩展至深层网络。
• 通过参数的连续路径实现网络中的任意激活轨迹，确保路径上损失非递增。
• 通过逐层归纳，证明输出层的任意连续路径均可通过深层层的连续参数变化实现。
• 应用关键引理（引理20）证明，只要宽层能覆盖输入空间，且后续权重矩阵满秩，则输出处任意预测路径均可通过连续参数扰动实现。
• 引入一条从当前预测到目标标签的路径：$ f_{\Gamma}(t) = \mathbf{z} + t(\mathbf{y} - \mathbf{z}) $，该路径单调减少损失。
• 利用宽层激活空间为全维，且其后权重矩阵满秩的性质，确保路径的可实现性。

实验结果

研究问题

• RQ1 在具有Sigmoid激活函数的深层且极宽的全连接神经网络中，子优局部极小值是否存在？
• RQ2 若此类极小值存在，它们是否属于非吸引区域，从而可通过非递增路径逃离？
• RQ3 在这些网络中，是否每个局部极小值均可通过连续且非递增的路径连接到全局极小值？
• RQ4 在何种架构条件下（如宽度序列）该非吸引结构成立？
• RQ5 在更深层网络中，相同构造在何种情况下产生鞍点而非局部极小值？

主要发现

• 在具有Sigmoid激活函数的深层且极宽的全连接神经网络中，即使退化，子优局部极小值仍存在。
• 在宽层之后宽度非递增的网络中，所有此类子优局部极小值均属于可逃离的连通集合，可通过损失曲面上的非递增路径实现逃离。
• 该构造确保，对于任意局部极小值，均存在一条参数的连续路径，使得路径上损失不增加。
• 此类路径的存在意味着梯度方法（如SGD）可因随机探索特性而逃离这些极小值。
• 该结果对几乎所有参数值（仅零测度集合除外）均成立，将先前关于单隐层网络的结果推广至更深架构。
• 相同构造在不同网络宽度和激活约束下，可能产生鞍点而非局部极小值。