[论文解读] Proportionate gradient updates with PercentDelta

Sami Abu-El-Haija|arXiv (Cornell University)|Aug 24, 2017

Tensor decomposition and applications参考文献 10被引用 5

一句话总结

本文提出 PercentDelta，一种梯度更新规则，通过按每个可训练张量的 L1-范数成比例地缩放梯度，确保深度神经网络中所有层以相同的相对速度进行训练。通过使用所有张量的平均 L1-范数对梯度进行归一化，PercentDelta 在固定训练预算下，相较于 SGD、Adam、AdaGrad 和 LARS，实现了更快的收敛速度和更高的 MNIST 测试准确率。

ABSTRACT

Deep Neural Networks are generally trained using iterative gradient updates. Magnitudes of gradients are affected by many factors, including choice of activation functions and initialization. More importantly, gradient magnitudes can greatly differ across layers, with some layers receiving much smaller gradients than others. causing some layers to train slower than others and therefore slowing down the overall convergence. We analytically explain this disproportionality. Then we propose to explicitly train all layers at the same speed, by scaling the gradient w.r.t. every trainable tensor to be proportional to its current value. In particular, at every batch, we want to update all trainable tensors, such that the relative change of the L1-norm of the tensors is the same, across all layers of the network, throughout training time. Experiments on MNIST show that our method appropriately scales gradients, such that the relative change in trainable tensors is approximately equal across layers. In addition, measuring the test accuracy with training time, shows that our method trains faster than other methods, giving higher test accuracy given same budget of training steps.

研究动机与目标

• 解决深度神经网络中各层梯度幅度不均衡的问题，该问题会减缓整体训练速度。
• 通过使用反向传播分析四层前馈网络中的梯度流动，形式化描述训练不均衡的现象。
• 提出一种方法，明确使所有层的相对变化速率相等，无论初始权重大小或激活函数如何。
• 通过实证结果证明，成比例训练可实现更快的收敛速度和更高的测试准确率，且在固定训练预算下表现更优。

提出的方法

• 该方法通过将每层的梯度除以所有可训练张量的平均 L1-范数，来缩放梯度，从而确保各层之间的相对变化成比例。
• 更新规则定义为：$ \Delta W_j = \eta \cdot \gamma(t) \cdot \frac{\partial J}{\partial W_j} \cdot \frac{\|W_j\|_1}{\text{mean}(\|W_k\|_1)} $，其中 $ \|W_j\|_1 $ 表示第 j 个权重张量的 L1-范数。
• 学习率调度 $ \gamma(t) $ 为线性衰减，最小阈值为 $ \beta $，以防止发散。
• 该方法与标准动量兼容，可对任意优化器进行最小修改后应用。
• 该方法确保在每个训练步骤中，所有层的张量 L1-范数的相对变化量大致相等。
• 该算法设计对超参数选择不敏感，只要其在合理范围内即可。

实验结果

研究问题

• RQ1 为何深度神经网络中各层的梯度幅度差异如此显著，这对训练速度有何影响？
• RQ2 我们能否显式地强制所有层的相对变化速率相等，以改善训练收敛性？
• RQ3 与标准优化方法相比，成比例的梯度缩放是否能带来更快的收敛速度和更高的测试准确率？
• RQ4 在哪些模型架构中，成比例训练能带来最大收益？
• RQ5 所提出的方法对学习率和衰减调度等超参数选择的鲁棒性如何？

主要发现

• 在相同训练步数下，PercentDelta 在 MNIST 数据集上的测试准确率高于 SGD、Adam、AdaGrad 和 LARS。
• 该方法确保在每个训练步骤中，所有可训练张量的 L1-范数的相对变化量在各层间大致相等。
• 实验表明，PercentDelta 的训练速度优于基线方法，在相同训练预算下可达到更高性能。
• 只要 $ \eta $ 和 $ m $ 的超参数在合理范围内，该算法对它们的选择具有鲁棒性。
• PercentDelta 与动量兼容，可对现有优化器进行最小改动后集成。
• 该方法在梯度贡献不平衡的场景中尤为有益，例如联合嵌入与网络训练、软注意力模型，以及带有全局偏置的矩阵分解。