[论文解读] Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD

Ruosi Wan, Zhanxing Zhu+2 more|arXiv (Cornell University)|Jun 15, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用 6

一句话总结

本文提出了球面运动动力学（Spherical Motion Dynamics, SMD），一种理论框架，用于分析带有批量归一化、权重衰减和带动量的随机梯度下降（SGD）的深度神经网络的学习动态。在温和假设下，该框架证明了权重范数和角度更新均以线性速率收敛，并提出角度更新作为比有效学习率更优的度量指标。该理论在ImageNet和MSCOCO上通过实证验证，理论与实践之间表现出高度一致性。

ABSTRACT

In this work, we comprehensively reveal the learning dynamics of neural network with normalization, weight decay (WD), and SGD (with momentum), named as Spherical Motion Dynamics (SMD). Most related works study SMD by focusing on "effective learning rate" in "equilibrium" condition, where weight norm remains unchanged. However, their discussions on why equilibrium condition can be reached in SMD is either absent or less convincing. Our work investigates SMD by directly exploring the cause of equilibrium condition. Specifically, 1) we introduce the assumptions that can lead to equilibrium condition in SMD, and prove that weight norm can converge at linear rate with given assumptions; 2) we propose "angular update" as a substitute for effective learning rate to measure the evolving of neural network in SMD, and prove angular update can also converge to its theoretical value at linear rate; 3) we verify our assumptions and theoretical results on various computer vision tasks including ImageNet and MSCOCO with standard settings. Experiment results show our theoretical findings agree well with empirical observations.

研究动机与目标

• 解决先前关于归一化神经网络中有效学习率的均衡条件缺乏严格理论依据的问题。
• 提出角度更新作为衡量归一化训练中网络演化的更优指标，替代在归一化设置下表现不佳的有效学习率。
• 在归一化、权重衰减和动量SGD存在的情况下，建立权重范数线性收敛的理论条件。
• 在ImageNet和MSCOCO等多样化计算机视觉基准上，实证验证理论发现。

提出的方法

• 在SMD中引入权重范数线性收敛的假设，通过梯度动力学分析证明收敛速率。
• 提出角度更新作为尺度不变的度量，用于量化网络演化，替代归一化设置下无效的有效学习率。
• 在所提假设下，推导出使用带动量SGD和权重衰减时，权重范数与角度更新的理论收敛速率。
• 在ResNet-50、MobileNet-V2和ShuffleNet-V2+上，使用标准训练协议，在ImageNet和MSCOCO上实证验证理论预测。
• 分析线性缩放原则在SMD中的局限性，表明角度更新主要依赖于学习率和动量，而非批量大小。
• 通过模拟和真实训练运行，将理论角度更新值与实测结果进行对比，确认二者高度一致。

实验结果

研究问题

• RQ1 在带有权重衰减和SGD的归一化神经网络中，权重范数近似恒定的均衡条件在何种条件下实际成立？
• RQ2 为何有效学习率无法捕捉归一化网络的真实动态？何种替代度量能更准确反映学习进展？
• RQ3 在SMD的合理假设下，能否证明权重范数与角度更新以线性速率收敛？
• RQ4 在线性缩放原则的SMD框架下，其在实际中的表现如何？其理论局限性是什么？
• RQ5 理论预测的角度更新在真实世界视觉基准中的实测结果中，其匹配程度如何？

主要发现

• 在所提假设下，权重范数以线性速率收敛至均衡状态，为此前未经证明而假设成立的均衡条件提供了严格理论依据。
• 角度更新以线性速率收敛至其理论值 $\sqrt{\frac{2\lambda\eta}{1+\alpha}}$，作为衡量学习进展的指标，比有效学习率更准确且具有尺度不变性。
• 在ImageNet和MSCOCO上的实证结果表明，理论预测与观测到的角度更新高度一致，验证了SMD框架在多样化架构与数据集上的有效性。
• 线性缩放原则无法可靠保持不同批量大小下的角度更新动态，因为角度更新主要取决于学习率和动量，而非批量大小，从而挑战了其理论基础。
• 模拟与实验表明，在均衡状态下，梯度范数的放大比率与角度更新的增加无相关性，进一步削弱了LSP的假设。
• 该理论框架成功解释了归一化、权重衰减与动量SGD的联合效应，为现代深度学习中的训练动态提供了统一的视角。