[论文解读] Spherical Motion Dynamics of Deep Neural Networks with Batch Normalization and Weight Decay.

Ruosi Wan, Zhanxing Zhu+2 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 11被引用 10

一句话总结

本文提出了球面运动动力学（Spherical Motion Dynamics, SMD），一个解释带有批量归一化（batch normalization）和权重衰减（weight decay）的深度神经网络（DNN）优化动力学的理论框架。它表明权重更新遵循由超参数控制的球面轨迹，其中角度更新是衡量效率的关键指标，并为大规模视觉任务中的经验行为提供了严格且定量匹配的解释。

ABSTRACT

We comprehensively reveal the learning dynamics of deep neural networks (DNN) with batch normalization (BN) and weight decay (WD), named as Spherical Motion Dynamics (SMD). Our theorem on SMD is based on the scale-invariant property of weights caused by BN, and regularization effect of WD. SMD shows the optimization trajectory of weights is like a spherical motion; and a new indicator, angular update is proposed to measure the update efficiency of DNN with BN and WD. We rigorously prove that the angular update is only determined by pre-defined hyper-parameters (i.e. learning rate, WD parameter and momentum coefficient), and provide their quantitative relationship. Most importantly, the quantitative result of SMD can perfectly match the empirical observation in complex and large scale computer vision tasks like ImageNet and COCO with standard training schemes. SMD can also yield reasonable interpretations on some phenomena about BN from an entirely new perspective, including avoidance of vanishing and exploding gradient, no risk of being trapped into sharp minima, and sudden drop of loss when shrinking learning rate. Further, to present the practical significance of SMD, we discuss the connection between SMD and commonly used learning rate tuning scheme: Linear Scaling Principle.

研究动机与目标

• 理解在使用批量归一化（BN）和权重衰减（WD）训练时，深度神经网络（DNN）的底层优化动力学。
• 解释为何BN与WD共同作用可实现稳定、高效的训练，避免梯度消失/爆炸或陷入尖锐极小值。
• 构建一个理论框架，将超参数（学习率、权重衰减、动量）与大规模视觉任务中的训练行为进行定量关联。
• 提出一种新指标——角度更新，用于捕捉独立于尺度的权重更新效率。
• 将理论发现与实际训练实践相联系，例如学习率调度中的线性缩放原则（Linear Scaling Principle）。

提出的方法

• 利用批量归一化下权重的尺度不变性，推导出权重更新的球面轨迹模型。
• 引入角度更新作为优化进展的尺度不变度量，定义为连续两个权重向量之间夹角的余弦值。
• 推导出闭式解析关系，表明角度更新仅依赖于预设的超参数：学习率、权重衰减和动量系数。
• 通过理论分析与几何推理，证明在使用BN和WD时，优化路径位于权重空间中的球面上。
• 在ImageNet和COCO上，使用标准训练协议，将理论预测与实证结果进行验证。
• 通过证明角度更新在学习率与批量大小联合缩放下保持不变，将SMD与线性缩放原则联系起来。

实验结果

研究问题

• RQ1 批量归一化与权重衰减如何共同塑造深度神经网络中权重更新的轨迹？
• RQ2 超参数（学习率、权重衰减、动量）与权重更新效率之间的理论关系是什么？
• RQ3 为何带有BN和WD的DNN能避免梯度消失/爆炸和尖锐极小值？
• RQ4 当学习率降低时，观察到的损失突然下降现象能否通过理论框架解释？
• RQ5 球面运动动力学模型与学习率调度中广泛使用的线性缩放原则有何关联？

主要发现

• 由于尺度不变性，带有BN和WD的DNN的优化轨迹位于权重空间中的球面流形上。
• 角度更新作为衡量优化效率的新指标，其解析表达式仅由学习率、权重衰减和动量系数决定。
• 在标准训练设置下，SMD对ImageNet和COCO等大规模视觉任务中角度更新的理论预测与实证观察高度一致。
• SMD将梯度消失与爆炸的避免归因于权重空间中受约束的球面运动。
• 该模型通过揭示在临界学习率阈值处角度更新动力学存在不连续性，解释了学习率降低时损失突然下降的现象。
• 线性缩放原则可自然由SMD解释，因为角度更新在学习率与批量大小联合缩放下保持不变。