[论文解读] Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction

Kaifeng Lyu, Zhiyuan Li+1 more|arXiv (Cornell University)|Jun 14, 2022

Neural Networks and Applications被引用 12

一句话总结

本文提出，归一化层（如批量归一化）通过在权重衰减的梯度下降中引入减少尖锐度的偏差，从而改善泛化性能，这是由于损失函数具有尺度不变性。该文通过理论分析与实证研究证明，这种偏差会引导优化轨迹趋向更平坦的极小值——通过一种尺度不变的球面尖锐度度量进行衡量——即使在过参数化的模型中也能提升测试性能。

ABSTRACT

Normalization layers (e.g., Batch Normalization, Layer Normalization) were introduced to help with optimization difficulties in very deep nets, but they clearly also help generalization, even in not-so-deep nets. Motivated by the long-held belief that flatter minima lead to better generalization, this paper gives mathematical analysis and supporting experiments suggesting that normalization (together with accompanying weight-decay) encourages GD to reduce the sharpness of loss surface. Here "sharpness" is carefully defined given that the loss is scale-invariant, a known consequence of normalization. Specifically, for a fairly broad class of neural nets with normalization, our theory explains how GD with a finite learning rate enters the so-called Edge of Stability (EoS) regime, and characterizes the trajectory of GD in this regime via a continuous sharpness-reduction flow.

研究动机与目标

• 理解归一化层在深度神经网络中改善泛化性能的原因，超越其已知的优化优势。
• 解决传统尖锐度度量在归一化网络中常见的尺度不变损失下定义不清的问题。
• 形式化并分析在归一化模型中，带有权重衰减的梯度下降对更平坦极小值的隐式偏差。
• 在过参数化及标准视觉/语言模型中，建立尖锐度降低与泛化性能提升之间的联系。

提出的方法

• 提出一种尺度不变的尖锐度度量——球面尖锐度，通过损失函数在单位球面上的海森矩阵定义，以处理归一化带来的尺度不变性。
• 分析在尺度不变损失函数上使用全批量梯度下降与权重衰减的动态，表明其随时间自然降低尖锐度。
• 推导出一个连续的尖锐度降低流，以表征在稳定边缘区域中梯度下降轨迹的特性。
• 通过矩阵补全和CIFAR-10实验（使用VGG-11与批量归一化）实证验证尖锐度降低偏差。
• 固定归一化层中的仿射参数（γ, β），将训练动态与标签平滑联系起来，表明当γ=1.353时，其等价于ε=0.1的软标签。
• 从训练曲线中减去理论最小损失，以隔离尖锐度动态并观察随时间的尖锐度降低趋势。

实验结果

研究问题

• RQ1 在尺度不变损失景观中，带有权重衰减和归一化层的梯度下降如何诱导对更平坦极小值的偏差？
• RQ2 是否存在一种数学上严谨且尺度不变的尖锐度度量，可用于分析归一化网络中的泛化性能？
• RQ3 为何尖锐度降低与泛化性能提升相关联，即使在过参数化模型中也是如此？
• RQ4 归一化与权重衰减之间的相互作用如何导致持续的尖锐度降低？稳定边缘在其中扮演什么角色？
• RQ5 尖锐度降低偏差是否可独立于权重衰减或归一化被观察到？其对测试性能有何影响？

主要发现

• 在归一化模型中，使用梯度下降与权重衰减训练时，球面尖锐度度量单调递减，即使训练损失已达到零。
• 在CIFAR-10实验中使用VGG-11与批量归一化，测试准确率从69.1%提升至84.3%，历时47,000步，与持续的尖锐度降低同步发生。
• 移除批量归一化或权重衰减会消除尖锐度降低偏差及相应的泛化增益。
• 即使归一化层中的仿射参数（γ, β）被固定为等价于ε=0.1标签平滑的值，仍可观察到尖锐度降低偏差。
• 当γ=1.353时，理论最小损失≈0.0943，从训练曲线中减去该值后，可清晰观察到尖锐度降低趋势。
• 尖锐度降低流在稳定边缘区域被表征为一个连续过程，其中最大海森矩阵特征值稳定在2/η附近。