[论文解读] No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models

Liang Chen, Haoming Jiang+6 more|arXiv (Cornell University)|Feb 6, 2022

Topic Modeling被引用 8

一句话总结

本文提出 SAGE，一种基于敏感度的自适应学习率调度方法，可动态调整各参数的学习率，依据其对模型性能的敏感度。通过提高低敏感度（欠拟合）参数的学习率，降低高敏感度（训练充分）参数的学习率，SAGE 减少了冗余并提升了泛化能力，在 NLP 和视觉任务中均实现了 SOTA 性能，且显著优于标准优化器。

ABSTRACT

Recent research has shown the existence of significant redundancy in large Transformer models. One can prune the redundant parameters without significantly sacrificing the generalization performance. However, we question whether the redundant parameters could have contributed more if they were properly trained. To answer this question, we propose a novel training strategy that encourages all parameters to be trained sufficiently. Specifically, we adaptively adjust the learning rate for each parameter according to its sensitivity, a robust gradient-based measure reflecting this parameter's contribution to the model performance. A parameter with low sensitivity is redundant, and we improve its fitting by increasing its learning rate. In contrast, a parameter with high sensitivity is well-trained, and we regularize it by decreasing its learning rate to prevent further overfitting. We conduct extensive experiments on natural language understanding, neural machine translation, and image classification to demonstrate the effectiveness of the proposed schedule. Analysis shows that the proposed schedule indeed reduces the redundancy and improves generalization performance.

研究动机与目标

• 探究大型 Transformer 模型中的冗余参数是否真的无用，还是仅因优化策略不佳而处于欠训练状态。
• 验证假设：参数欠拟合的原因并非固有冗余，而是训练不足。
• 开发一种训练策略，通过基于敏感度调整学习率，确保所有参数均得到充分训练。
• 通过动态学习率调度减少权重冗余，从而提升模型泛化能力。
• 证明所提出方法可与现有自适应优化方法兼容并增强其性能。

提出的方法

• 该方法提出一种基于敏感度的参数级学习率调度策略，敏感度为衡量每个参数对模型性能贡献的基于梯度的指标。
• 对低敏感度参数（表示冗余或欠拟合）分配更高的学习率，以加速其训练。
• 对高敏感度参数（表示贡献显著或存在过拟合风险）分配更低的学习率，以进行正则化并防止过拟合。
• 通过计算敏感度的局部时间变体（即当前敏感度与其指数移动平均值的绝对差值），以应对敏感度估计中的不稳定性与不确定性。
• 每个参数的最终学习率是其敏感度与局部时间变体的函数，从而确保对噪声或波动的敏感度值具有鲁棒性。
• 该方法可与现有自适应优化器（如 Adam）兼容，并可无缝集成至标准训练流程中。

实验结果

研究问题

• RQ1 若通过自适应学习率调度更有效地训练，大型 Transformer 模型中的冗余参数是否能变得有用？
• RQ2 基于敏感度的学习率自适应策略是否能减少模型冗余并提升泛化性能？
• RQ3 所提方法在多样化的 NLP 和视觉任务中与标准优化器相比表现如何？
• RQ4 基于敏感度的自适应学习率调度能否与当前最先进的正则化技术有效结合？
• RQ5 该方法是否能在更广的超参数搜索空间中减少过拟合并提升泛化能力？

主要发现

• 在微调 BERT-base 时，SAGE 在 RTE 数据集上实现了 1% 的泛化性能提升，即使在剪枝高达 20% 参数的情况下依然有效。
• 在 GLUE 基准测试中，SAGE 搭配 Adamax 平均优于标准 Adamax 2.6 分，所有任务均有增益，其中 RTE 任务提升达 3.4 分。
• 在 Spiral 数据集上，SAGE 学习到的决策边界比 Adam 更平滑且具有更大的间隔，表明其泛化能力更强。
• SAGE 在训练过程中降低了敏感度分数的方差，表明参数训练更加均衡且充分。
• SAGE 在更广泛的超参数搜索空间中持续提升泛化性能，尤其在学习率和 $eta$ 超参数区域表现显著。
• 当与 SMART（一种最先进的对抗性正则化方法）结合时，SAGE 进一步提升了性能，表明其与现有正则化技术具有良好的互补性。