[论文解读] Topology and Geometry of Half-Rectified Network Optimization

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|Nov 4, 2016

Stochastic Gradient Optimization Techniques被引用 32

一句话总结

本文研究了深度半 Rectified 神经网络中损失曲面的拓扑与几何结构，证明在数据分布和过参数化条件较温和的情况下，单层 ReLU 网络的损失曲面具有渐近连通性。本文提出一种基于动态规划的算法，用于估计等高线集的测地线正则性，表明在训练过程中损失曲面始终保持近似凸性，且在低损失水平下曲率逐渐增加——这解释了 SGD 在实践中取得成功的原因。

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

研究动机与目标

• 理解尽管损失曲面非凸，为何随机梯度下降（SGD）在训练深度 ReLU 网络时仍能成功。
• 正式量化半 Rectified 网络中损失等高线集的拓扑结构，特别是连通性。
• 分析数据分布与模型过参数化如何共同塑造损失曲面的几何结构。
• 开发一种高效算法，用于估计大规模深度网络中等高线集的几何正则性。
• 通过实证验证，损失曲面在高精度范围内保持连通且近似凸性，且在低损失水平下曲率逐渐增加。

提出的方法

• 通过参数扰动边界和特征协方差结构的分析，证明单层 ReLU 网络中等高线集的渐近连通性。
• 提出一种基于动态规划的算法，用于近似等高线集内的测地线，从而估计其几何正则性。
• 采用一种贪心、可扩展的方法，在中等规模的卷积神经网络（CNNs）和循环神经网络（RNNs）上发现连通分量并估计测地线长度。
• 将该算法应用于 MNIST、CIFAR-10 和 Penn Treebank 数据集，分析不同架构下损失曲面的几何特性。
• 通过实证测量归一化测地线长度作为非凸性的代理指标，观察到在低损失水平下呈现幂律增长。
• 依赖于小参数变化仅引起特征协方差小变化的假设，并将该结论推广至多层网络。

实验结果

研究问题

• RQ1 在何种数据分布与模型过参数化条件下，单层 ReLU 网络中的等高线集能保持连通？
• RQ2 损失等高线集的几何正则性在训练过程中如何演变？这对优化动力学有何启示？
• RQ3 现实世界深度学习任务（如图像分类、语言建模）在多大程度上表现出损失曲面的近似凸性？
• RQ4 能否设计一种可扩展的算法，高效估计大规模网络中高维损失曲面的连通性与曲率？
• RQ5 数据平滑性与模型过参数化的相互作用如何影响劣质局部极小值的缺失？

主要发现

• 在数据分布和过参数化条件较温和的情况下，单层 ReLU 网络具有渐近连通性，且显式界量化了该权衡关系。
• 在高损失水平下，等高线集的归一化测地线长度保持较低，表明其具有近似凸性；在较低损失水平下，该长度近似呈幂律增长。
• 在 MNIST 上的实证结果表明，即使在最先进的准确率下，归一化长度仍很低，支持了 MNIST 具有高度凸性的普遍认知。
• CIFAR-10 在测试准确率达 80% 时仍表现出显著的非凸性，且在损失值低于某一阈值后，归一化长度急剧上升。
• Penn Treebank 上的 LSTM 模型表现出相同定性行为：在高困惑度时非凸性较低，而在低困惑度时曲率逐渐增加，证实了该现象在不同架构间的普适性。
• 随着能量衰减，损失曲面几何的曲率呈指数级增加，与实践中观察到的低曲率吸引子一致。