[论文解读] Neural gradients are lognormally distributed: understanding sparse and quantized training.

Brian Chmiel, Liad Ben-Uri+4 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 26被引用 2

一句话总结

本文揭示了神经网络梯度服从对数正态分布，从而提出了两种新型压缩技术：随机梯度剪枝（在ResNet18/ImageNet上实现高达85%的稀疏度且准确率无下降）和优化的低精度浮点格式（如FP8），可降低内存与计算开销，提升训练效率，同时解释了先前关于数值精度与缩放的观察结果。

ABSTRACT

Neural gradient compression remains a main bottleneck in improving training efficiency, as most existing neural network compression methods (e.g., pruning or quantization) focus on weights, activations, and weight gradients. However, these methods are not suitable for compressing neural gradients, which have a very different distribution. Specifically, we find that the neural gradients follow a lognormal distribution. Taking this into account, we suggest two methods to reduce the computational and memory burdens of neural gradients. The first one is stochastic gradient pruning, which can accurately set the sparsity level -- up to 85% gradient sparsity without hurting validation accuracy (ResNet18 on ImageNet). The second method determines the floating-point format for low numerical precision gradients (e.g., FP8). Our results shed light on previous findings related to local scaling, the optimal bit-allocation for the mantissa and exponent, and challenging workloads for which low-precision floating-point arithmetic has reported to fail. Reference implementation accompanies the paper.

研究动机与目标

• 为解决现有压缩方法仅关注权重与激活而忽略具有独特统计特性的梯度的问题。
• 理解在先前压缩研究中被忽视的神经梯度的底层分布。
• 开发实用的梯度压缩技术，以降低深度学习训练过程中的内存与计算成本。
• 解释低精度训练中长期存在的观察现象，如局部缩放的必要性以及尾数与阶码的最优位分配。

提出的方法

• 通过在多个模型与数据集上进行实证分析，识别出神经梯度的对数正态分布特性。
• 提出随机梯度剪枝方法，利用对数正态分布的尾部行为，精确设置稀疏度水平，最高可达85%且不损失准确率。
• 基于对数正态分布设计浮点格式选择策略，以优化低精度梯度（如FP8）中阶码与尾数之间的位分配。
• 利用对数正态模型推导出梯度表示的最优缩放因子与数值范围，提升低精度训练的稳定性。
• 在ResNet18与ImageNet上验证方法，证明在不同稀疏度与精度水平下均具有鲁棒性。

实验结果

研究问题

• RQ1 为何现有梯度压缩方法在不损失准确率的前提下难以实现高稀疏度或低精度？
• RQ2 在反向传播过程中，神经梯度幅度的底层统计分布是什么？
• RQ3 如何在不损害模型性能的前提下精确控制梯度稀疏度？
• RQ4 低精度梯度表示中，阶码与尾数的最优位分配是什么？
• RQ5 研究发现如何解释局部缩放的成功以及低精度算术在某些工作负载中失败的原因？

主要发现

• 实证结果表明，神经梯度在多个深度学习模型与数据集中均服从对数正态分布。
• 随机梯度剪枝在ResNet18/ImageNet训练中实现了高达85%的梯度稀疏度，且验证准确率无下降。
• 对数正态分布使梯度稀疏度得以精确控制，支持对压缩程度的系统性探索。
• 基于对数正态模型可推导出最优的低精度格式（如FP8），提升数值稳定性和训练效率。
• 研究结果解释了为何低精度训练中需要局部缩放，并阐明了某些工作负载对精度损失的敏感性。