[论文解读] On Connected Sublevel Sets in Deep Learning

Quynh C. Nguyen|arXiv (Cornell University)|Jan 22, 2019

Neural Networks and Applications参考文献 45被引用 7

一句话总结

本文证明，对于具有分段线性激活函数和凸损失函数的深度过参数化全连接神经网络，当至少一个隐藏层的神经元数量超过训练样本数时，其训练损失的任意子水平集均为连通且无界的。这一几何性质意味着不存在不良局部山谷，确保梯度下降能够在损失曲面中自由移动而不陷入低质量区域，且所有全局最小值均位于单一、广阔的山谷中。

ABSTRACT

This paper shows that every sublevel set of the loss function of a class of deep over-parameterized neural nets with piecewise linear activation functions is connected and unbounded. This implies that the loss has no bad local valleys and all of its global minima are connected within a unique and potentially very large global valley.

研究动机与目标

• 理解尽管存在非凸性，随机梯度下降为何能在优化深度神经网络时取得成功。
• 研究在过参数化条件下损失曲面的几何结构。
• 确定子水平集的连通性是否可解释局部搜索算法在深度学习中的成功。
• 建立损失函数避免不良局部山谷并确保全局收敛的条件。

提出的方法

• 证明当训练数据线性无关时，任意规模网络的子水平集均连通。
• 通过假设至少一个隐藏层的神经元数量超过训练样本数，将结果推广至任意训练数据。
• 利用权重矩阵的满秩性质及分段线性激活函数的结构，建立参数空间中的路径连通性。
• 定义并分析在凸损失（如平方损失、交叉熵）和分段线性激活函数下损失函数的子水平集。
• 利用宽隐藏层存在时，从任意起始点存在连续下降路径至任意低损失值的性质。
• 将“不良局部山谷”正式定义为严格子水平集的连通分支，其损失无法趋近于下确界。

实验结果

研究问题

• RQ1 在何种网络宽度与激活函数条件下，损失函数的子水平集是连通的？
• RQ2 在具有分段线性激活函数的过参数化深度网络中，能否保证不存在不良局部山谷？
• RQ3 宽隐藏层的存在如何影响参数空间中子水平集的连通性？
• RQ4 损失曲面的何种几何特性使其在过参数化设置下更有利于梯度下降？
• RQ5 子水平集的连通性是否意味着随机梯度下降在深度学习中具有更优的收敛特性？

主要发现

• 当至少一个隐藏层的神经元数量超过训练样本数时，损失函数的任意子水平集均为连通且无界。
• 损失函数不存在不良局部山谷，即从任意初始点出发，均存在一条非增损失路径，且损失可趋近于下确界。
• 所有有限全局最小值（若存在）均位于单一、可能极为广阔的全局山谷中。
• 该结果适用于任意凸损失和分段线性激活函数（包括ReLU和Leaky-ReLU）的标准深度全连接网络。
• 子水平集的连通性是一种几何性质，使损失曲面相较于一般非凸函数更有利于局部搜索算法。
• 尽管子水平集连通，若初始化不佳，梯度下降仍可能无法收敛至全局最小值，表明初始化仍是关键因素。