[论文解读] Topology and Geometry of Deep Rectified Network Optimization Landscapes

C. Daniel Freeman, Joan Bruna|arXiv (Cornell University)|Nov 4, 2016

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文在不作简化假设的前提下研究了深度ReLU网络的优化景观，证明了在温和条件下，半 Rectified 单层网络在渐近意义上是连通的。研究揭示了数据平滑性与模型过参数化之间的相互作用控制着景观的几何结构，水平集在训练过程中保持连通但曲率逐渐增加——这表明尽管存在非凸性，仍表现出近似凸性行为。

ABSTRACT

The loss surface of deep neural networks has recently attracted interest in the optimization and machine learning communities as a prime example of high-dimensional non-convex problem. Some insights were recently gained using spin glass models and mean-field approximations, but at the expense of strongly simplifying the nonlinear nature of the model. In this work, we do not make any such assumption and study conditions on the data distribution and model architecture that prevent the existence of bad local minima. Our theoretical work quantifies and formalizes two important \emph{folklore} facts: (i) the landscape of deep linear networks has a radically different topology from that of deep half-rectified ones, and (ii) that the energy landscape in the non-linear case is fundamentally controlled by the interplay between the smoothness of the data distribution and model over-parametrization. Our main theoretical contribution is to prove that half-rectified single layer networks are asymptotically connected, and we provide explicit bounds that reveal the aforementioned interplay. The conditioning of gradient descent is the next challenge we address. We study this question through the geometry of the level sets, and we introduce an algorithm to efficiently estimate the regularity of such sets on large-scale networks. Our empirical results show that these level sets remain connected throughout all the learning phase, suggesting a near convex behavior, but they become exponentially more curvy as the energy level decays, in accordance to what is observed in practice with very low curvature attractors.

研究动机与目标

• 在不使用均场或自旋玻璃近似等简化假设的前提下，理解深度ReLU网络损失曲面的拓扑结构。
• 正式量化关于ReLU网络与线性网络具有根本不同优化景观的流行信念。
• 分析数据分布平滑性与模型过参数化如何共同塑造损失景观的几何结构。
• 通过水平集的几何结构研究梯度下降的条件性，并开发一种高效算法以估计大规模网络中水平集的正则性。
• 通过实证验证在整个训练过程中水平集的连通性与曲率演化。

提出的方法

• 理论分析证明了在数据分布和模型过参数化满足温和条件时，半 Rectified 单层网络是渐近连通的。
• 推导出显式边界，以形式化数据平滑性与过参数化在塑造景观拓扑中的相互作用。
• 提出一种算法，利用几何特性高效估计大规模深度网络中水平集的正则性。
• 通过实证评估跟踪训练各阶段中水平集的连通性与曲率，以评估其几何演化。
• 利用子水平集的几何分析评估梯度下降的条件性与收敛行为。
• 理论与实证分析聚焦于能量景观的结构，特别是低损失区域附近。

实验结果

研究问题

• RQ1 深度ReLU网络的优化景观在拓扑上与深度线性网络有何不同？
• RQ2 在何种数据分布与模型架构条件下可避免ReLU网络中的不良局部极小值？
• RQ3 数据平滑性与过参数化之间的相互作用如何影响损失景观的连通性？
• RQ4 在ReLU网络中，损失函数的水平集在整个训练过程中是否保持连通？
• RQ5 随着训练向低损失区域推进，水平集的曲率如何演化？

主要发现

• 在数据分布和模型过参数化满足温和假设时，半 Rectified 单层网络是渐近连通的。
• 显式边界揭示了数据平滑性与过参数化之间的相互作用控制着景观的几何结构。
• 实证结果表明，水平集在整个训练阶段均保持连通，暗示近似凸性行为。
• 随着能量水平降低，水平集的曲率呈指数级增加，与实践中观察到的极低曲率吸引子一致。
• 所提出的算法能高效估计大规模深度网络中水平集的正则性，从而实现对优化动力学几何结构的分析。
• 研究结果形式化并量化了深度学习中两个长期存在的流行信念：线性网络与ReLU网络在拓扑上的区别，以及数据平滑性与过参数化在塑造损失景观中的作用。