[论文解读] The Regularization Effects of Anisotropic Noise in Stochastic Gradient Descent

Zhanxing Zhu, Jingfeng Wu+3 more|arXiv (Cornell University)|Mar 1, 2018

Stochastic Gradient Optimization Techniques参考文献 28被引用 31

一句话总结

本文研究了随机梯度下降（SGD）中各向异性的噪声如何通过与损失曲面的曲率对齐来提升深度神经网络的泛化性能。通过实验分析，表明SGD的各向异性扩散能有效逃离尖锐的极小值，并收敛到更平坦、更稳定的极小值，其性能优于各向同性噪声以及添加了噪声的完整梯度下降。

ABSTRACT

Understanding the generalization of deep learning has raised lots of concerns recently, where the learning algorithms play an important role in generalization performance, such as stochastic gradient descent (SGD). Along this line, we particularly study the anisotropic noise introduced by SGD, and investigate its importance for the generalization in deep neural networks. Through a thorough empirical analysis, it is shown that the anisotropic diffusion of SGD tends to follow the curvature information of the loss landscape, and thus is beneficial for escaping from sharp and poor minima effectively, towards more stable and flat minima. We verify our understanding through comparing this anisotropic diffusion with full gradient descent plus isotropic diffusion (i.e. Langevin dynamics) and other types of position-dependent noise.

研究动机与目标

• 理解SGD中各向异性噪声在提升深度神经网络泛化性能中的作用。
• 研究SGD中噪声结构与损失曲面曲率之间的关系。
• 将SGD的各向异性扩散与各向同性噪声（如Langevin动力学）及其他位置相关噪声类型进行比较。
• 评估各向异性噪声是否能引导优化过程更优地收敛到更平坦、更具泛化能力的极小值。

提出的方法

• 通过跟踪训练过程中的梯度更新，对SGD中的噪声分布进行实验分析。
• 将噪声建模为各向异性扩散，其协方差结构与损失曲面的Hessian矩阵对齐。
• 将SGD与添加了各向同性噪声的完整梯度下降（Langevin动力学）进行对比，以隔离各向异性的效应。
• 使用位置相关噪声模型来模拟并对比SGD的实际噪声行为。
• 评估收敛轨迹，以分析对尖锐极小值的逃离情况以及向更平坦极小值的移动趋势。
• 分析噪声方向性与损失曲面中曲率信息之间的关系。

实验结果

研究问题

• RQ1 SGD中的各向异性噪声与深度神经网络损失曲面的曲率之间有何关系？
• RQ2 与各向同性噪声相比，SGD中的各向异性噪声是否能更有效地逃离尖锐的、泛化性能差的极小值？
• RQ3 在泛化性能方面，SGD的噪声结构与添加了各向同性噪声的完整梯度下降相比如何？
• RQ4 各向异性扩散在多大程度上引导优化过程趋向更平坦、更稳定的极小值？
• RQ5 SGD的泛化优势是否可归因于其各向异性噪声，而非单纯的随机性？

主要发现

• SGD的噪声分布具有各向异性，并与损失曲面的曲率对齐，尤其沿着高曲率方向进行。
• 这种各向异性扩散相比缺乏方向引导的各向同性噪声，能更有效地逃离尖锐极小值。
• SGD中的噪声促进了向更平坦极小值的收敛，而这些极小值与更好的泛化性能相关。
• 添加了各向同性噪声的完整梯度下降无法复现SGD的泛化性能，表明各向异性是关键因素。
• 实证结果证实，噪声的结构——特别是其各向异性——在泛化中起着至关重要的作用，而不仅仅是随机性本身。