[论文解读] VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning

Fanhua Shang, Kaiwen Zhou+6 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用 13

一句话总结

该论文提出VR-SGD，一种新颖的随机方差缩减方法，利用每个周期的平均值和最后迭代值作为其两个关键向量，从而支持更大的学习率并实现更快的收敛。该方法在强凸问题上实现线性收敛，并为非强凸情形提供了收敛保证，在凸与非凸经验风险最小化任务中均优于SVRG、Prox-SVRG以及Katyusha等最先进方法。

ABSTRACT

In this paper, we propose a simple variant of the original SVRG, called variance reduced stochastic gradient descent (VR-SGD). Unlike the choices of snapshot and starting points in SVRG and its proximal variant, Prox-SVRG, the two vectors of VR-SGD are set to the average and last iterate of the previous epoch, respectively. The settings allow us to use much larger learning rates, and also make our convergence analysis more challenging. We also design two different update rules for smooth and non-smooth objective functions, respectively, which means that VR-SGD can tackle non-smooth and/or non-strongly convex problems directly without any reduction techniques. Moreover, we analyze the convergence properties of VR-SGD for strongly convex problems, which show that VR-SGD attains linear convergence. Different from its counterparts that have no convergence guarantees for non-strongly convex problems, we also provide the convergence guarantees of VR-SGD for this case, and empirically verify that VR-SGD with varying learning rates achieves similar performance to its momentum accelerated variant that has the optimal convergence rate $\mathcal{O}(1/T^2)$. Finally, we apply VR-SGD to solve various machine learning problems, such as convex and non-convex empirical risk minimization, and leading eigenvalue computation. Experimental results show that VR-SGD converges significantly faster than SVRG and Prox-SVRG, and usually outperforms state-of-the-art accelerated methods, e.g., Katyusha.

研究动机与目标

• 解决现有随机方差缩减方法（如SVRG和Prox-SVRG）在学习率选择与收敛性分析方面的局限性。
• 开发一种可直接处理非光滑与非强凸问题而无需依赖约化技术的方法。
• 在统一框架下，为强凸与非强凸问题提供理论收敛保证。
• 设计一种实用算法，在真实世界机器学习任务中实现比现有方法更快的收敛速度。

提出的方法

• VR-SGD将每个周期的两个向量设定为前一周期的平均值和最后迭代值，从而支持更大的学习率并提升稳定性。
• 采用两种不同的更新规则：一种用于光滑目标，另一种用于非光滑目标，从而可直接处理ℓ1等不可微正则化项。
• 算法使用带有方差缩减的随机梯度，通过周期性重新计算完整梯度来降低噪声。
• 对于非强凸问题，VR-SGD采用变化的学习率，实现与具有最优O(1/T²)速率的加速方法相当的收敛速率。
• 通过VR-SGD++将该方法扩展至非凸设置，通过减少早期迭代中的梯度计算量来提升效率。
• 对强凸与非强凸情形分别进行了收敛性分析，分别建立了线性收敛与次线性收敛速率。

实验结果

研究问题

• RQ1 能否设计一种方差缩减方法，利用每个周期的平均值与最后迭代值，以支持更大的学习率并实现更快的收敛？
• RQ2 VR-SGD能否在不依赖问题变换或约化技术的前提下，为非强凸与非光滑问题提供收敛保证？
• RQ3 VR-SGD是否在强凸问题上实现线性收敛？其收敛速率与加速方法相比如何？
• RQ4 与Katyusha和SAGA等最先进方法相比，VR-SGD在凸与非凸经验风险最小化任务上的实际表现如何？

主要发现

• 在所有测试数据集与问题类型中，VR-SGD的收敛速度显著快于SVRG与Prox-SVRG，包括带有ℓ1、ℓ2与弹性网络正则化的逻辑回归问题。
• 对于非强凸问题，采用变化学习率的VR-SGD实现了与Katyusha等动量加速方法最优的O(1/T²)速率相当的性能。
• 在使用Sigmoid损失的非凸经验风险最小化中，VR-SGD在目标值与函数次优性方面优于SAGA、SVRG与SVRG++。
• 所提出的VR-SGD++变体减少了早期迭代中的梯度计算量，提升了效率，在大规模问题上优于SVRG++。
• 理论分析证实了强凸问题下的线性收敛性，并为非强凸情形提供了收敛保证，填补了现有方法的空白。
• 实验结果表明，VR-SGD在各类机器学习任务（包括PCA、矩阵补全与深度学习相关问题）中持续优于最先进方法。