[论文解读] On the loss landscape of a class of deep neural networks with no bad local valleys

Quynh L. Nguyen, Mahesh Chandra Mukkamala+1 more|arXiv (Cornell University)|Sep 27, 2018

Machine Learning and ELM参考文献 46被引用 39

一句话总结

本文识别出一类具有跳跃连接至输出层的过参数化深度神经网络，其损失曲面被证明不存在不良局部山谷——意味着参数空间中的任意点都存在一条连续且非递增的路径通往零训练损失。关键结果是，在标准交叉熵损失下，此类网络不存在次优严格局部极小值，从而使得SGD能够收敛至零训练误差，且在实践中具备良好的泛化能力。

ABSTRACT

We identify a class of over-parameterized deep neural networks with standard activation functions and cross-entropy loss which provably have no bad local valley, in the sense that from any point in parameter space there exists a continuous path on which the cross-entropy loss is non-increasing and gets arbitrarily close to zero. This implies that these networks have no sub-optimal strict local minima.

研究动机与目标

• 识别深度神经网络在何种架构条件下其损失曲面具有行为良好的特性，即不存在不良局部山谷。
• 为具有标准激活函数和交叉熵损失的过参数化网络中不存在次优严格局部极小值提供理论保证。
• 分析隐藏单元至输出层的跳跃连接对深度网络优化与泛化行为的影响。
• 证明即使在存在无穷多个零损失解的情况下，SGD仍会隐式偏向于可泛化的解。
• 提供一种实用框架，用于构建理论上可保证避免不良局部极小值且保持强泛化性能的网络。

提出的方法

• 作者定义了一类深度网络，其中至少 N 个隐藏单元（N = 训练样本数量）以独立权重直接连接至输出层，无论其深度如何。
• 他们证明，对于此类网络，从参数空间中的任意初始点出发，均存在一条路径，其上的交叉熵损失非递增，并可任意接近零。
• 该分析适用于全连接和卷积网络，具有任意深度、权重共享以及标准激活函数，且对训练数据无分布假设。
• 证明依赖于通过参数插值构造路径，以保持损失非递增，从而利用过参数化和跳跃连接结构。
• 该方法允许隐藏层中使用共享或非共享权重，并支持来自多个隐藏层至输出层的跳跃连接。
• 实验通过在修改后的VGG和DenseNet架构中引入跳跃连接，验证了理论结果，将SGD与随机特征基线进行比较。

实验结果

研究问题

• RQ1 我们能否识别出一类深度神经网络，其损失曲面中不存在不良局部山谷，从而确保通过局部搜索算法收敛至零训练误差？
• RQ2 何种架构条件可保证在交叉熵损失下，过参数化网络中不存在次优严格局部极小值？
• RQ3 隐藏单元至输出层的跳跃连接如何影响深度网络的优化与泛化行为？
• RQ4 在存在多个零训练误差解的情况下，SGD是否仍表现出对可泛化解的隐式偏好？
• RQ5 我们能否构建出在理论上可保证避免不良局部极小值且保持强泛化性能的实际深度网络？

主要发现

• 当至少 N 个隐藏单元直接连接至输出层（N = 训练样本数量）时，网络不存在不良局部山谷，即从任意起始点均存在一条连续非递增路径通往零损失。
• 不良局部山谷的缺失意味着这些网络的损失曲面中不存在次优严格局部极小值。
• 损失函数也不存在局部极大值，进一步支持了其优化曲面的良好行为特性。
• 实验表明，当使用SGD训练时，具有跳跃连接的网络在泛化性能上显著优于随机特征基线，即使两者均达到零训练误差。
• 在CIFAR-10数据集上结合数据增强，通过SGD训练的带跳跃连接的VGG16模型在Sigmoid激活下达到70.61%的测试准确率，在Softplus激活下达到81.91%，较随机特征基线高出逾10个百分点。
• SGD与随机特征训练之间的性能差距在多个架构中持续存在，证实了SGD对高质量解的隐式偏好。