[论文解读] Neograd: Gradient Descent with a Near-Ideal Learning Rate.

Michael F. Zimmer|arXiv (Cornell University)|Oct 15, 2020

Machine Learning and Algorithms参考文献 21被引用 2

一句话总结

Neograd 引入了一类一阶优化算法，通过一种基于更新误差的新度量 $\rho$，在每一步动态调整学习率。通过消除手动调整学习率的需求，NeogradM 在测试函数和 MNIST 数字识别任务中，实现的代价函数值显著低于 Adam 及其他一阶方法。

ABSTRACT

Since its inception by Cauchy in 1847, the gradient descent algorithm has been without guidance as to how to efficiently set the learning rate. This paper identifies a concept, defines metrics, and introduces algorithms to provide such guidance. The result is a family of algorithms (Neograd) based on a {\em constant $ ho$ ansatz}, where $ ho$ is a metric based on the error of the updates. This allows one to adjust the learning rate at each step, using a formulaic estimate based on $ ho$. It is now no longer necessary to do trial runs beforehand to estimate a single learning rate for an entire optimization run. The additional costs to operate this metric are trivial. One member of this family of algorithms, NeogradM, can quickly reach much lower cost function values than other first order algorithms. Comparisons are made mainly between NeogradM and Adam on an array of test functions and on a neural network model for identifying hand-written digits. The results show great performance improvements with NeogradM.

研究动机与目标

• 解决自 Cauchy 于 1847 年提出梯度下降以来，长期缺乏设定最优学习率的指导性方法的问题。
• 开发一种基于公式的、原则性的方法，利用新度量 $\rho$ 在优化过程中动态调整学习率。
• 消除在整个优化过程中依赖试错法选择学习率的需求。
• 基于常数 $\rho$ 假设，设计一类算法——Neograd——以实现高效、自适应的学习率调度。
• 展示 NeogradM 在收敛性能上显著优于 Adam 等成熟的一阶方法。

提出的方法

• 引入一种度量 $\rho$，用于量化梯度更新中的误差，作为学习率自适应调整的基础。
• 采用常数 $\rho$ 假设，建立更新误差与学习率调整之间的关系模型。
• 基于 $\rho$ 推导出公式化学习率更新规则，实现实时自适应，且无需额外超参数。
• 设计 NeogradM 作为 Neograd 家族的一个具体实例，专为快速收敛而优化。
• 利用 $\rho$ 度量在每一步估算理想学习率，以最小化参数更新中的误差。
• 通过轻量级、公式化的 $\rho$ 计算与学习率更新，保持极低的计算开销。

实验结果

研究问题

• RQ1 能否开发一种原则性、自适应的学习率策略，从而完全消除梯度下降中手动调参的需求？
• RQ2 基于更新误差的 $\rho$ 度量，相较于固定或启发式学习率调度，如何提升优化效率？
• RQ3 NeogradM 在最小化各类测试函数的代价函数方面，相较于 Adam 及其他一阶方法，性能提升程度如何？
• RQ4 Neograd 框架能否在真实机器学习任务（如 MNIST 数字分类）中实现更快的收敛速度和更低的最终代价值？
• RQ5 维持 $\rho$ 度量和自适应学习率的计算开销有多大？在实际应用中是否可忽略？

主要发现

• 在一系列测试函数上，NeogradM 实现的代价函数值显著低于 Adam 及其他一阶优化算法。
• Neograd 框架可在每一步实现动态学习率调整，而无需通过前期试运行来估算固定学习率。
• 维持 $\rho$ 度量和更新学习率的计算开销微不足道，使该方法具备可扩展性和实用性。
• 在手写数字识别的神经网络任务中，NeogradM 相较于 Adam 展现出显著的性能提升。
• 使用 $\rho$ 度量可实现一种原则性、公式化的学习率选择方法，其性能优于启发式和固定学习率策略。
• Neograd 家族算法，特别是 NeogradM，在合成基准测试和真实世界深度学习任务中均表现出强劲的实证性能。