[论文解读] Understanding the Loss Surface of Neural Networks for Binary Classification

Shiyu Liang, Ruoyu Sun+2 more|arXiv (Cornell University)|Feb 19, 2018

Neural Networks and Applications参考文献 27被引用 32

一句话总结

本文建立了神经网络代理损失函数的所有局部最小值在二分类中实现零训练误差的条件。结果表明，在使用严格凸的递增神经元、单层或跳跃连接的多层结构以及平滑合页损失函数时，每个局部最小值均可实现完美的训练性能——为随机梯度下降在二分类任务中的经验成功提供了理论依据。

ABSTRACT

It is widely conjectured that the reason that training algorithms for neural networks are successful because all local minima lead to similar performance, for example, see (LeCun et al., 2015, Choromanska et al., 2015, Dauphin et al., 2014). Performance is typically measured in terms of two metrics: training performance and generalization performance. Here we focus on the training performance of single-layered neural networks for binary classification, and provide conditions under which the training error is zero at all local minima of a smooth hinge loss function. Our conditions are roughly in the following form: the neurons have to be strictly convex and the surrogate loss function should be a smooth version of hinge loss. We also provide counterexamples to show that when the loss function is replaced with quadratic loss or logistic loss, the result may not hold.

研究动机与目标

• 从理论上解释随机梯度下降为何在二分类任务的深度神经网络训练中取得成功。
• 识别所有经验损失函数局部最小值实现零训练误差的条件。
• 突破二次损失函数的局限，因为即使在全局最小值处，二次损失函数也可能无法实现零误分类误差。
• 使用平滑合页损失函数而非标准二次损失函数，分析神经网络的损失曲面。
• 证明在使用合页型损失函数时，即使不依赖过参数化，所有局部最小值处也可实现零训练误差。

提出的方法

• 基于合页损失定义一个平滑的代理损失函数，确保其可微，以支持优化。
• 采用具有递增性和严格凸性的激活函数的神经网络，以保证损失曲面的有利几何特性。
• 利用一阶最优性条件和临界点附近的泰勒展开，分析局部最小值处损失函数的行为。
• 构造反例以表明，若放松条件（如使用非凸神经元或无跳跃连接），可能导致具有非零训练误差的局部最小值。
• 通过证明在指定条件下，任何局部最小值的损失均无法进一步降低，从而证明所有局部最小值必须具有零训练误差。
• 利用具有阈值单元的两层网络构建数据分布的离散近似，证明当理论条件不满足时，可能存在具有非零误差的局部最小值。

实验结果

研究问题

• RQ1 在何种条件下，经验损失函数的所有局部最小值在二分类中均可实现零训练误差？
• RQ2 在使用合页型损失函数时，是否可在不依赖过参数化的情况下，保证所有局部最小值处均实现零训练误差？
• RQ3 激活函数的特性（如凸性、单调性）如何影响损失曲面的几何结构？
• RQ4 当网络缺乏跳跃连接或使用非凸神经元时，训练误差会发生什么变化？
• RQ5 线性可分性或子空间可分性的假设是否为主要结果所必需？

主要发现

• 当激活函数为递增且严格凸函数，网络为单层或具有类似跳跃连接的结构，且损失函数为合页损失的平滑版本时，所有局部最小值均可实现零训练误差。
• 反例表明，若放松任一条件（如使用非凸或非递增神经元），可能导致具有非零训练误差的局部最小值。
• 该结果在数据线性可分或正负样本位于不相交子空间的假设下依然成立。
• 证明依赖于表明：在任一局部最小值点，任何扰动均无法降低损失，这意味着损失在零误差处局部最小化。
• 通过构建使用阈值单元的两层网络，证明当理论条件不满足时，可能存在具有非零误差的局部最小值。
• 分析表明，二次损失函数即使在全局最小值处也可能无法实现零误分类误差，凸显了在此情境下合页型损失函数的优势。