[论文解读] Variants of RMSProp and Adagrad with Logarithmic Regret Bounds

Mahesh Chandra Mukkamala, Matthias Hein|arXiv (Cornell University)|Jun 17, 2017

Advanced Bandit Algorithms Research参考文献 17被引用 110

一句话总结

本文在在线凸优化中分析 RMSProp 和 Adagrad，证明 RMSProp 的 regret 为 sqrt(T)，SC-Adagrad 和 SC-RMSProp 的 regret 为对数级，并通过实验在强凸和深度学习设置中显示出具有竞争力的性能。

ABSTRACT

Adaptive gradient methods have become recently very popular, in particular as they have been shown to be useful in the training of deep neural networks. In this paper we have analyzed RMSProp, originally proposed for the training of deep neural networks, in the context of online convex optimization and show $\sqrt{T}$-type regret bounds. Moreover, we propose two variants SC-Adagrad and SC-RMSProp for which we show logarithmic regret bounds for strongly convex functions. Finally, we demonstrate in the experiments that these new variants outperform other adaptive gradient techniques or stochastic gradient descent in the optimization of strongly convex functions as well as in training of deep neural networks.

研究动机与目标

• 激励用于在线凸优化和深度学习的自适应梯度方法。
• 在一般凸设定下建立 RMSProp 的理论 regret 上界。
• 提出针对强凸函数的 SC-Adagrad 和 SC-RMSProp，使其具有对数级 regret。
• 在凸优化和深度学习任务中，展示相较于标准自适应方法和 SGD 的实证性能提升。

提出的方法

• 将 RMSProp 模型化为对角预条件更新，并对凸集执行带权投影。
• 表明 Adagrad 在某些参数选择下等价于 RMSProp 的特例。
• 引入带时间和坐标逐步阻尼 delta_t 的 SC-Adagrad，以实现强凸函数的 O(log T) regret。
• 引入 SC-RMSProp，作为具有类似对数级 regret 保证的强凸变体。
• 推导数据相关的 regret 上界，并给出 delta_t 的衰减方案，以确保自适应性和稳定性。

实验结果

研究问题

• RQ1 RMSProp 是否能够在在线凸优化中达到 regret 上界，以及在何种加权/偏置方案下？
• RQ2 SC-Adagrad 和 SC-RMSProp 变体是否在强凸目标下实现对数级 regret？
• RQ3 在在线设定中，应如何选择阻尼和步长调度以平衡自适应性与稳定性？
• RQ4 在强凸问题和神经网络训练中，所提出的方法是否优于现有自适应梯度方法和 SGD？

主要发现

• RMSProp 可以在在线凸优化框架内进行分析，并在适当加权下实现数据依赖的 O(sqrt(T)) regret 上界。
• SC-Adagrad 在强凸函数下实现数据相关的对数级 regret 上界，且阻尼 delta_t 非增。
• SC-RMSProp 将 SC-Adagrad 的分析拓展到类似 RMSProp 的更新，给出强凸目标的对数级 regret。
• 一种阻尼策略 delta_t（如 xi2 e^{-xi1 v_t,i}）和坐标向的自适应在实践中提高了稳定性与性能。
• 在三个数据集上的实验表明，这些新变体在强凸优化和神经网络训练中具竞争力或优于其他自适应方法和 SGD。