[论文解读] Piecewise linear activations substantially shape the loss surfaces of neural networks

Fengxiang He, Bohan Wang+1 more|arXiv (Cornell University)|Mar 27, 2020

Stochastic Gradient Optimization Techniques被引用 19

一句话总结

本文表明，分段线性激活函数（如 ReLU）通过在简单的一隐藏层网络中引发无穷多个虚假局部极小值，深刻地塑造了深度神经网络的损失曲面。作者证明这些极小值集中在由不可微边界划分的光滑、多重线性单元内的连通山谷中，且单个单元内所有局部极小值在其参数子空间中均为全局最优。

ABSTRACT

Understanding the loss surface of a neural network is fundamentally important to the understanding of deep learning. This paper presents how piecewise linear activation functions substantially shape the loss surfaces of neural networks. We first prove that {\it the loss surfaces of many neural networks have infinite spurious local minima} which are defined as the local minima with higher empirical risks than the global minima. Our result demonstrates that the networks with piecewise linear activations possess substantial differences to the well-studied linear neural networks. This result holds for any neural network with arbitrary depth and arbitrary piecewise linear activation functions (excluding linear functions) under most loss functions in practice. Essentially, the underlying assumptions are consistent with most practical circumstances where the output layer is narrower than any hidden layer. In addition, the loss surface of a neural network with piecewise linear activations is partitioned into multiple smooth and multilinear cells by nondifferentiable boundaries. The constructed spurious local minima are concentrated in one cell as a valley: they are connected with each other by a continuous path, on which empirical risk is invariant. Further for one-hidden-layer networks, we prove that all local minima in a cell constitute an equivalence class; they are concentrated in a valley; and they are all global minima in the cell.

研究动机与目标

• 理解非线性激活函数（尤其是分段线性函数）如何塑造神经网络损失曲面的几何结构。
• 研究具有分段线性激活函数的深度网络中虚假局部极小值的存在性与结构。
• 揭示损失曲面被划分为由不可微边界分隔的光滑、多重线性单元的几何划分。
• 分析每个单元内局部极小值的等价性与连通性，表明它们构成一个全局最优的山谷结构。

提出的方法

• 证明在任意深度和分段线性激活函数（排除线性函数）的网络中，于标准损失函数下存在无穷多个虚假局部极小值。
• 构建一个从权重参数 $ (W_1, W_2) $ 到简化表示 $ \hat{W} $ 的映射 $ Q $，表明 $ Q $ 在保持乘积 $ \text{diag}(W_2)W_1 $ 不变的缩放变换下保持不变。
• 利用激活函数断点诱导的不可微边界，将参数空间划分为开单元。
• 证明在每个单元内，经验风险 $ \hat{\mathcal{R}} $ 关于 $ \hat{W} $ 是凸的，意味着单元内所有局部极小值在其子空间中均为全局最小。
• 建立单元内局部极小值可通过经验风险保持不变的连续路径相连，形成山谷结构。
• 基于映射 $ Q $ 定义等价关系 $ \sim_R $，表明单元内所有局部极小值在此关系下等价，并形成商空间。

实验结果

研究问题

• RQ1 在典型训练条件下，具有分段线性激活函数的神经网络是否具有无穷多个虚假局部极小值？
• RQ2 从连通性与经验风险的角度看，局部极小值在参数空间中如何分布？
• RQ3 能否将具有分段线性激活函数的神经网络损失曲面划分为由不可微边界分隔的光滑、多重线性单元？
• RQ4 单个单元内所有局部极小值是否均为该单元参数子空间的全局最优？
• RQ5 单元内局部极小值集合的几何与拓扑结构如何？它们之间如何连接？

主要发现

• 在任意深度和任意分段线性激活函数（排除线性函数）的网络中，于标准损失函数下，存在无穷多个虚假局部极小值。
• 这些虚假局部极小值集中于参数空间中一个光滑、多重线性单元内的单一连通山谷中。
• 给定单元内所有局部极小值在其参数子空间中均为全局最小，意味着它们在该区域内实现了最低可能的经验风险。
• 单元内局部极小值通过经验风险保持不变的连续路径相连，表明其具有退化的山谷状结构。
• 单元内局部极小值的等价类由映射 $ Q $ 定义，该映射保持乘积 $ \text{diag}(W_2)W_1 $ 不变，并在该等价关系下形成商空间。
• 损失曲面被激活函数断点引发的不可微边界划分为多个光滑、多重线性单元，每个单元在其子空间中包含唯一的全局最小值。