[论文解读] SALR: Sharpness-aware Learning Rates for Improved Generalization

Xubo Yue, Maher Nouiehed+1 more|arXiv (Cornell University)|May 4, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用 8

一句话总结

SALR 引入了一种基于清晰度感知的学习率自适应方法，该方法根据局部损失函数的清晰度动态调整学习率，使优化器能够逃离尖锐极小值，并收敛到更平坦、更具泛化能力的解。在多种网络架构和优化器上进行评估后，SALR 提升了泛化性能，加速了收敛速度，并使模型更倾向于损失曲面中更平坦的区域。

ABSTRACT

In an effort to improve generalization in deep learning, we propose SALR: a sharpness-aware learning rate update technique designed to recover flat minimizers. Our method dynamically updates the learning rate of gradient-based optimizers based on the local sharpness of the loss function. This allows optimizers to automatically increase learning rates at sharp valleys to increase the chance of escaping them. We demonstrate the effectiveness of SALR when adopted by various algorithms over a broad range of networks. Our experiments indicate that SALR improves generalization, converges faster, and drives solutions to significantly flatter regions.

研究动机与目标

• 通过解决导致泛化性能不佳的尖锐极小值问题，改善深度学习中的泛化性能。
• 开发一种动态学习率自适应机制，使其在训练过程中响应局部损失曲面的清晰度。
• 通过在这些区域提高学习率，使基于梯度的优化器更有效地逃离尖锐山谷。
• 在广泛的神经网络架构和优化算法上，证明所提出方法的有效性。
• 推动模型向损失曲面中更平坦的区域演进，这些区域与更好的泛化性能相关。

提出的方法

• SALR 在训练过程中根据当前参数周围损失函数的局部清晰度动态调整学习率。
• 该方法计算一种清晰度感知的更新，以在损失曲率较高（即尖锐山谷）的区域提高学习率。
• 通过使用清晰度感知组件修改其学习率调度，将该方法与现有的基于梯度的优化器集成。
• 使用局部 Hessian 近似或类似度量来估计清晰度，以评估当前参数位置的曲率。
• 更新后的学习率在清晰区域鼓励更大的步长，从而提高逃离不良极小值的可能性。
• 该方法设计为与标准优化框架兼容，且需要极少的超参数调优。

实验结果

研究问题

• RQ1 基于局部损失清晰度的动态学习率自适应是否能改善深度神经网络的泛化性能？
• RQ2 SALR 在不同架构和优化器上如何影响收敛速度和最终的泛化性能？
• RQ3 SALR 在多大程度上推动模型向损失曲面中更平坦的区域演进？
• RQ4 清晰度感知的学习率更新是否能有效帮助训练过程中逃离尖锐极小值？
• RQ5 与固定或自适应学习率调度相比，SALR 在泛化性能和优化动力学方面表现如何？

主要发现

• SALR 在与多种基于梯度的优化器集成时，显著提升了多种神经网络架构的泛化性能。
• 该方法通过在高曲率区域提高学习率，加速了从尖锐极小值中逃逸，从而加快了收敛速度。
• 使用 SALR 训练的模型始终收敛到损失曲面中更平坦的区域，这些区域已知与更好的泛化性能相关。
• 该泛化性能的提升无需额外的超参数或网络架构修改。
• SALR 通过使学习率调整对局部几何结构（尤其是尖锐山谷）更敏感，改善了优化动力学。
• 实证结果表明，即使对现有训练流程仅做最小修改，SALR 也能生成比标准训练协议更平坦的解。