[论文解读] On the energy landscape of deep networks

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 42被引用 14

一句话总结

本文提出AnnealSGD，一种通过渐变添加梯度扰动来导航深度网络损失曲面的正则化随机梯度下降算法。受自旋玻璃理论启发，该方法从具有较少极小值的简化多项式曲面过渡到原始复杂、具有指数级极小值的曲面，从而在不改变网络结构的前提下，提升了MNIST和CIFAR-10数据集上的泛化性能。

ABSTRACT

We introduce "AnnealSGD", a regularized stochastic gradient descent algorithm motivated by an analysis of the energy landscape of a particular class of deep networks with sparse random weights. The loss function of such networks can be approximated by the Hamiltonian of a spherical spin glass with Gaussian coupling. While different from currently-popular architectures such as convolutional ones, spin glasses are amenable to analysis, which provides insights on the topology of the loss function and motivates algorithms to minimize it. Specifically, we show that a regularization term akin to a magnetic field can be modulated with a single scalar parameter to transition the loss function from a complex, non-convex landscape with exponentially many local minima, to a phase with a polynomial number of minima, all the way down to a trivial landscape with a unique minimum. AnnealSGD starts training in the relaxed polynomial regime and gradually tightens the regularization parameter to steer the energy towards the original exponential regime. Even for convolutional neural networks, which are quite unlike sparse random networks, we empirically show that AnnealSGD improves the generalization error using competitive baselines on MNIST and CIFAR-10.

研究动机与目标

• 通过自旋玻璃模型理解深度网络损失曲面的拓扑结构。
• 解决由于复杂非凸损失函数中存在指数级局部极小值而带来的深度网络训练挑战。
• 开发一种利用曲面简化实现更优优化与泛化性能的训练算法。
• 尽管该模型基于稀疏随机权重，仍对现代卷积网络进行实证验证。

提出的方法

• 本文将具有稀疏随机权重的深度网络建模为自旋玻璃系统，其中损失函数近似为具有高斯耦合项的球形自旋玻璃哈密顿量。
• 引入一个类似自旋玻璃理论中磁场的加法扰动项，用以控制损失曲面中局部极小值的数量。
• AnnealSGD采用标量渐变调度，逐步减小扰动强度，实现从极少数极小值的多项式曲面到原始大量极小值的指数曲面的过渡。
• 该扰动以固定方向的偏置形式应用于梯度更新，避免了重新采样噪声带来的不稳定性。
• 通过调节单一超参数来控制训练过程中扰动的大小，实现方法的实现。
• 在全连接网络与卷积网络上进行实验，包括CIFAR-10上的All-CNN-BN模型，并与标准SGD和Adam方法进行对比。

实验结果

研究问题

• RQ1 能否使用自旋玻璃理论对稀疏随机权重架构的深度网络能量曲面进行建模？
• RQ2 外部扰动（类比于磁场）如何影响损失曲面中局部极小值的数量与分布？
• RQ3 对这类扰动进行渐变是否能改善标准深度网络的训练动态与泛化性能？
• RQ4 固定方向扰动是否优于重新采样的梯度噪声？
• RQ5 自旋玻璃理论的洞见在多大程度上可指导现代卷积网络的实际训练算法设计？

主要发现

• AnnealSGD将All-CNN-BN架构在CIFAR-10上的测试误差从基线的8.42%降低至7.95%，证明了其泛化性能的提升。
• 即使不启用渐变过程，该方法仍比基线提升0.66%，表明扰动本身具有内在优势。
• 如图4与表1所示，重新采样的加法噪声（一种梯度噪声形式）的性能劣于固定方向扰动。
• 渐变调度使初始训练速度更快，得益于更平滑的曲面，且对最终性能影响极小。
• 该方法具有鲁棒性且易于实现，仅需调节单一超参数控制扰动强度。
• 理论分析表明，渐变过程不会改变原始局部极小值的位置，从而保持了优化目标的完整性。