[论文解读] The Role of Memory in Stochastic Optimization

Antonio Orvieto, Jonas Köhler+1 more|arXiv (Cornell University)|Jul 2, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用 6

一句话总结

本文提出了一种连续时间随机微分方程（SDE）框架，用于建模随机优化中的记忆机制，通过可变遗忘率将动量方法（如Heavy Ball和Nesterov方法）推广。研究表明，记忆类型对收敛性和稳定性具有关键影响，显示在随机设置中长期记忆可提升性能，且无需迭代平均；同时为Nesterov动量提供了新颖的解释，即其本质是稳定的梯度放大。

ABSTRACT

The choice of how to retain information about past gradients dramatically affects the convergence properties of state-of-the-art stochastic optimization methods, such as Heavy-ball, Nesterov's momentum, RMSprop and Adam. Building on this observation, we use stochastic differential equations (SDEs) to explicitly study the role of memory in gradient-based algorithms. We first derive a general continuous-time model that can incorporate arbitrary types of memory, for both deterministic and stochastic settings. We provide convergence guarantees for this SDE for weakly-quasi-convex and quadratically growing functions. We then demonstrate how to discretize this SDE to get a flexible discrete-time algorithm that can implement a board spectrum of memories ranging from short- to long-term. Not only does this algorithm increase the degrees of freedom in algorithmic choice for practitioners but it also comes with better stability properties than classical momentum in the convex stochastic setting. In particular, no iterate averaging is needed for convergence. Interestingly, our analysis also provides a novel interpretation of Nesterov's momentum as stable gradient amplification and highlights a possible reason for its unstable behavior in the (convex) stochastic setting. Furthermore, we discuss the use of long term memory for second-moment estimation in adaptive methods, such as Adam and RMSprop. Finally, we provide an extensive experimental study of the effect of different types of memory in both convex and nonconvex settings.

研究动机与目标

• 理解Adam、RMSprop和Nesterov动量等随机优化方法中记忆的作用。
• 解决尽管在确定性设置中表现成功，但动量方法在随机设置中失败的理论理解缺失问题。
• 开发一个统一的连续时间模型，通过可定制的记忆遗忘动态，推广现有动量方法。
• 为所提出的SDE在弱拟凸函数和二次增长函数下提供收敛性保证。
• 通过实验验证不同记忆类型对凸与非凸问题优化性能的影响。

提出的方法

• 推导出一个通用的连续时间SDE模型，通过过去梯度的加权平均引入任意的记忆遗忘机制。
• 将确定性Heavy Ball方法扩展为连续时间ODE，并通过SDE将其推广至随机设置。
• 引入一族由参数p控制的记忆遗忘函数，包括线性（p=2）、三次（p=4）、多项式（p=100）、指数（p=e）和瞬时（p=∞）遗忘。
• 将SDE离散化为一种灵活的离散时间算法MemSGD，支持广泛的记忆类型。
• 通过将动量方法与梯度放大联系起来，分析其稳定性，为Nesterov动量提供新的解释。
• 利用长期记忆进行二阶矩估计，以改进Adam和RMSprop等自适应方法。

实验结果

研究问题

• RQ1 记忆机制的选择——特别是遗忘率——如何影响随机优化中的收敛性和稳定性？
• RQ2 为何像Nesterov梯度下降这样的动量方法在随机设置中失败，尽管其在确定性设置中表现成功？
• RQ3 能否构建一个统一的连续时间框架，以建模从短期到长期遗忘的多样化记忆类型？
• RQ4 在随机设置中，长期记忆是否能提升收敛性和稳定性，而无需依赖迭代平均？
• RQ5 记忆如何影响自适应方法（如Adam和RMSprop）中的二阶矩估计？

主要发现

• 所提出的SDE框架在适当的记忆动态下，为弱拟凸函数和二次增长函数提供了收敛性保证。
• 在凸随机设置中，具有长期记忆的离散MemSGD算法比经典Heavy Ball更稳定，且无需迭代平均。
• Nesterov动量被解释为稳定的梯度放大，其在随机设置中的不稳定性源于对噪声梯度的过度放大。
• 在MNIST、Fashion-MNIST、CIFAR-10和covtype上的实验表明，多项式遗忘（p=4）和指数遗忘（p=e）在小批量和全批量设置下均优于SGD和HB。
• p=4（三次遗忘）在Fashion-MNIST和CIFAR-10上实现了最佳测试准确率，且训练损失下降速度超过基线方法。
• 从自编码器重建的MNIST图像显示，p=4和p=e的MemSGD产生的重建图像比SGD或HB更清晰、更准确，证实了优化质量的提升。