[论文解读] On the Quality of the Initial Basin in Overspecified Neural Networks

Itay Safran, Ohad Shamir|arXiv (Cornell University)|Nov 13, 2015

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文研究了随机初始化的过参数化ReLU神经网络损失曲面的几何性质。结果表明，随着网络宽度增加，初始化在目标值较小的区域或通往全局最小值的单调下降路径上的概率显著提高，这表明尽管存在非凸性，过参数化仍能提升优化的可 tractability（可处理性）。

ABSTRACT

Deep learning, in the form of artificial neural networks, has achieved remarkable practical success in recent years, for a variety of difficult machine learning applications. However, a theoretical explanation for this remains a major open problem, since training neural networks involves optimizing a highly non-convex objective function, and is known to be computationally hard in the worst case. In this work, we study the \emph{geometric} structure of the associated non-convex objective function, in the context of ReLU networks and starting from a random initialization of the network parameters. We identify some conditions under which it becomes more favorable to optimization, in the sense of (i) High probability of initializing at a point from which there is a monotonically decreasing path to a global minimum; and (ii) High probability of initializing at a basin (suitably defined) with a small minimal objective value. A common theme in our results is that such properties are more likely to hold for larger ("overspecified") networks, which accords with some recent empirical and theoretical observations.

研究动机与目标

• 理解为何尽管损失函数高度非凸，过参数化神经网络仍易于优化。
• 研究在宽网络中随机初始化是否更可能落在有利于优化的区域。
• 表征损失曲面的几何特性——特别是单调下降路径和低极小值盆地的存在——以解释实际训练的成功。
• 通过证明随着宽度增加有利初始化特性自然出现，形式化更大的网络更容易训练的直觉。

提出的方法

• 分析全连接ReLU网络在随机权重初始化下的损失曲面。
• 采用几何方法研究从初始化点到全局最小值存在连续严格递减路径的可能性。
• 应用测度集中与Chernoff不等式，证明初始化在较差盆地的概率随宽度呈指数衰减。
• 构建显式反例，其中包含指数级数量的局部最小值，包括一个目标值为ε的全局最小值和多个目标值更高的局部最小值。
• 将一维损失构造扩展至d维空间，表明局部最小值在各维度上形成乘积结构。
• 证明在对损失和数据施加弱假设的前提下，初始化在目标值≤ c/4的盆地中的概率随d指数衰减，衰减速率约为e^(-d/16)，其中d为宽度。

实验结果

研究问题

• RQ1 在过参数化的ReLU网络中，随机初始化是否倾向于落在具有优化有利几何特性的区域？
• RQ2 随机初始化点位于一条连续、严格单调递减至全局最小值的路径上的概率是多少？
• RQ3 在最坏情况构造下，局部最小值的数量及其目标值如何随网络宽度变化？
• RQ4 我们能否形式化证明，即使存在次优局部最小值，更宽的网络也更可能初始化在低损失盆地中？
• RQ5 损失曲面的有利几何特性在多大程度上随网络宽度而自然出现，且独立于优化动力学？

主要发现

• 随着网络宽度增加，初始化点存在一条连续、严格单调递减至全局最小值的路径的概率趋近于1。
• 初始化在目标值≤ c/4的盆地中的概率随宽度d呈指数衰减，具体上界为e^(-d/16)。
• 在构造的具有2^d个局部最小值的d维示例中，仅有一个对应于目标值为ε的全局最小值，其余均为次优。
• 即使在最坏情况构造下，初始化在差盆地（高目标值）中的概率也随宽度增加而指数级衰减。
• 结果支持了经验观察：更宽的网络更容易训练，因为它们更可能从损失曲面的有利区域开始。
• 该分析适用于标准ReLU网络与凸损失（如平方损失和交叉熵损失），且在对数据和损失函数施加弱假设时依然成立。