[论文解读] The Loss Surfaces of Multilayer Networks

Anna Choromanska, Mikael Henaff+3 more|arXiv (Cornell University)|Nov 30, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用 716

一句话总结

该论文在权重独立性、冗余性和均匀性的假设下，建立了大型全连接前馈神经网络损失曲面与球形自旋玻璃模型哈密顿量之间的理论联系。利用随机矩阵理论，证明了在大型网络中，最低临界点形成一个紧致的带状区域，靠近全局最小值，其中大多数局部最小值具有较高的测试性能，且找到低质量最小值的概率随网络规模呈指数下降——这解释了尽管存在非凸性，SGD 为何能稳定地找到高质量解。

ABSTRACT

We study the connection between the highly non-convex loss function of a simple model of the fully-connected feed-forward neural network and the Hamiltonian of the spherical spin-glass model under the assumptions of: i) variable independence, ii) redundancy in network parametrization, and iii) uniformity. These assumptions enable us to explain the complexity of the fully decoupled neural network through the prism of the results from random matrix theory. We show that for large-size decoupled networks the lowest critical values of the random loss function form a layered structure and they are located in a well-defined band lower-bounded by the global minimum. The number of local minima outside that band diminishes exponentially with the size of the network. We empirically verify that the mathematical model exhibits similar behavior as the computer simulations, despite the presence of high dependencies in real networks. We conjecture that both simulated annealing and SGD converge to the band of low critical points, and that all critical points found there are local minima of high quality measured by the test error. This emphasizes a major difference between large- and small-size networks where for the latter poor quality local minima have non-zero probability of being recovered. Finally, we prove that recovering the global minimum becomes harder as the network size increases and that it is in practice irrelevant as global minimum often leads to overfitting.

研究动机与目标

• 解释尽管存在大量局部最小值，为何随机梯度下降（SGD）在深度神经网络中始终能发现高性能解。
• 研究大型全连接神经网络中临界点（最小值、鞍点）的分布与质量。
• 确定全局最小值是否在实践中具有相关性，或是否良好的局部最小值已足够实现泛化。
• 分析随着网络规模增大，训练误差与测试误差之间的关系。

提出的方法

• 将全解耦的 ReLU 网络的损失函数建模为球面上的高次多项式，其中单项式根据权重值被激活或关闭。
• 应用随机矩阵理论分析该多项式的临界点，与球形自旋玻璃模型进行类比。
• 通过理论分析表明，对于大型网络，临界点形成分层结构，其中存在一个能量较低的明确带状区域。
• 使用理论和经验的标度定律（例如指数幂律）对损失值进行缩放，以比较不同网络规模下的结果。
• 在实验中比较模拟退火与 SGD，评估陷入高指标鞍点是否构成问题。
• 计算归一化指标（负 Hessian 特征值的比例）以及训练损失与测试损失之间的相关性，以评估解的质量与泛化能力。

实验结果

研究问题

• RQ1 大型神经网络的临界点是否在全局最小值附近形成结构化的低能带？
• RQ2 随着网络规模增大，找到低质量局部最小值的概率如何变化？
• RQ3 全局最小值在实践中是否具有实际用途，还是良好的局部最小值已足够实现泛化？
• RQ4 随着网络规模增大，训练损失与测试损失之间的相关性如何演变？
• RQ5 SGD 的表现是否与模拟退火相当，表明鞍点并非主要障碍？

主要发现

• 对于大型网络，最低临界点形成一个紧致的带状区域，靠近全局最小值，其中大多数局部最小值具有较高的测试性能。
• 找到低质量局部最小值的概率随网络规模呈指数下降，因此在大型网络中可忽略不计。
• 随着网络规模增大，训练损失与测试损失之间的相关性降低，表明即使训练误差未被最小化，也能实现良好的泛化。
• SGD 的表现至少与模拟退火相当，表明在实践中陷入高指标鞍点并非主要问题。
• 全局最小值难以恢复，且通常导致过拟合，因此在泛化方面实际无关紧要。
• 实证结果证实，理论模型的行为与模拟结果高度一致，即使在真实网络中存在较强的变量依赖性时亦然。