[论文解读] Normalized Direction-preserving Adam

Zijun Zhang, Lin Ma+2 more|arXiv (Cornell University)|Sep 13, 2017

Stochastic Gradient Optimization Techniques参考文献 21被引用 20

一句话总结

本文提出Normalized Direction-preserving Adam（ND-Adam），一种改进的Adam优化器，通过保留每个权重向量的梯度方向并显式归一化权重向量来控制有效学习率。通过使更新动态更接近SGD，并结合正则化的softmax，ND-Adam在图像分类任务中实现了与SGD相当的泛化性能，弥合了Adam与SGD之间的泛化性能差距。

ABSTRACT

Adaptive optimization algorithms, such as Adam and RMSprop, have shown better optimization performance than stochastic gradient descent (SGD) in some scenarios. However, recent studies show that they often lead to worse generalization performance than SGD, especially for training deep neural networks (DNNs). In this work, we identify the reasons that Adam generalizes worse than SGD, and develop a variant of Adam to eliminate the generalization gap. The proposed method, normalized direction-preserving Adam (ND-Adam), enables more precise control of the direction and step size for updating weight vectors, leading to significantly improved generalization performance. Following a similar rationale, we further improve the generalization performance in classification tasks by regularizing the softmax logits. By bridging the gap between SGD and Adam, we also hope to shed light on why certain optimization algorithms generalize better than others.

研究动机与目标

• 识别为何在深度神经网络中Adam的泛化性能劣于SGD。
• 解决两个关键问题：(1) Adam未保留每个权重向量的梯度方向，(2) 由于参数范数增长失控，有效学习率下降。
• 开发一种Adam的变体，以实现对更新方向和有效学习率的更精确控制。
• 通过正则化softmax logits来改善分类任务中的学习信号。
• 弥合Adam与SGD之间的泛化性能差距。

提出的方法

• ND-Adam通过按权重向量而非每个参数调整学习率，对Adam进行修改，从而确保梯度方向被保留。
• 在优化过程中显式归一化每个权重向量，将方向与幅值更新解耦，以稳定有效学习率。
• 该方法采用改进的更新规则，在保持梯度方向的同时，通过归一化控制步长。
• 引入带有批量归一化或L2正则化的正则化softmax层，以约束logits的幅值并提升学习信号质量。
• 通过在Adam中显式归一化权重向量，该算法旨在模仿SGD中L2权重衰减的隐式正则化效果。
• 通过在CIFAR-10和CIFAR-100上使用受控超参数的WRN架构进行实证评估，比较ND-Adam、Adam和SGD。

实验结果

研究问题

• RQ1 为何在深度神经网络中Adam的泛化性能劣于SGD？
• RQ2 Adam中缺乏梯度方向保留如何影响优化动态？
• RQ3 在Adam中显式归一化权重向量能在多大程度上改善泛化性能？
• RQ4 softmax logits的幅值如何影响学习信号质量和泛化性能？
• RQ5 结合归一化权重更新与正则化softmax是否能弥合Adam与SGD之间的泛化性能差距？

主要发现

• 在WRN-22-7.5架构上，ND-Adam在CIFAR-10上达到3.70%的测试误差率，在CIFAR-100上达到19.30%，与SGD性能相当。
• 在使用BN-Softmax和L2正则化logits时，ND-Adam将误差降低至CIFAR-10的4.14%和CIFAR-100的19.90%，优于标准Adam。
• 在标准Adam下，softmax logits的幅值显著更大（图3），解释了为何正则化对Adam的帮助大于对SGD的帮助。
• 在原始WRN实现中，ND-Adam与SGD表现出几乎相同的泛化性能（在WRN-28-10上，CIFAR-10的误差为3.70%）。
• L2正则化softmax对Adam的泛化性能提升最大，表明未正则化的logits会放大Adam更新动态的负面影响。
• ND-Adam通过向量归一化精确控制更新方向和有效学习率，消除了Adam与SGD之间的泛化性能差距。