[论文解读] Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization

Xiyu Yu, Dacheng Tao|arXiv (Cornell University)|Jun 2, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用 3

一句话总结

本文提出了方差减少的近端随机梯度方法——prox-SVRG 和 prox-SAGA，用于非凸复合优化，其中目标函数为平滑非凸函数之和与具有简单近端映射的一般正则化项之和。在使用常数步长时，两种方法均在 $O(1/ε)$ 次迭代内收敛至驻点，与当前最先进的 RSAG 方法性能相当，并优于标准随机梯度下降。

ABSTRACT

Here we study non-convex composite optimization: first, a finite-sum of smooth but non-convex functions, and second, a general function that admits a simple proximal mapping. Most research on stochastic methods for composite optimization assumes convexity or strong convexity of each function. In this paper, we extend this problem into the non-convex setting using variance reduction techniques, such as prox-SVRG and prox-SAGA. We prove that, with a constant step size, both prox-SVRG and prox-SAGA are suitable for non-convex composite optimization, and help the problem converge to a stationary point within $O(1/ε)$ iterations. That is similar to the convergence rate seen with the state-of-the-art RSAG method and faster than stochastic gradient descent. Our analysis is also extended into the min-batch setting, which linearly accelerates the convergence. To the best of our knowledge, this is the first analysis of convergence rate of variance-reduced proximal stochastic gradient for non-convex composite optimization.

研究动机与目标

• 将方差减少的近端随机梯度方法扩展至非凸复合优化问题。
• 分析在非凸性假设下 prox-SVRG 和 prox-SAGA 的收敛速率。
• 证明这些方法在使用常数步长时，可在 $O(1/\u03b5)$ 次迭代内收敛至驻点。
• 将分析扩展至小批量设置，以实现收敛速度的线性加速。
• 为非凸复合设置中的方差减少近端随机梯度方法提供首个理论收敛速率保证。

提出的方法

• 将 prox-SVRG 和 prox-SAGA 算法适配以处理非凸有限和分量以及具有简单近端映射的一般正则化项。
• 采用方差减少技术以稳定梯度估计，并在非凸设置中提升收敛性能。
• 使用常数步长以确保在 $O(1/\u03b5)$ 次迭代内收敛至驻点。
• 将框架扩展至小批量设置，实现收敛速度的线性加速。
• 利用现有的近端梯度框架，并将其与非凸目标的方差减少机制相结合。
• 通过分析每次迭代目标函数值的期望下降量，证明方法收敛至驻点。

实验结果

研究问题

• RQ1 prox-SVRG 和 prox-SAGA 能否有效扩展至非凸复合优化问题？
• RQ2 在非凸设置中，方差减少近端随机梯度方法的收敛速率如何？
• RQ3 在非凸复合问题中，使用常数步长是否仍能保证收敛至驻点？
• RQ4 与单样本版本相比，小批量变体如何提升收敛速度？
• RQ5 这些方法的收敛速率在非凸设置下是否与当前最先进的 RSAG 方法相当？

主要发现

• 所提出的 prox-SVRG 和 prox-SAGA 方法在使用常数步长时，可在 $O(1/\u03b5)$ 次迭代内收敛至非凸复合优化的驻点。
• 收敛速率与当前最先进的 RSAG 方法相当，优于标准随机梯度下降。
• 小批量变体实现了收敛速度的线性加速，提升了可扩展性和效率。
• 该分析为非凸复合设置中方差减少近端随机梯度方法建立了首个理论收敛速率保证。
• 当各分量本身为非凸时，只要正则化项具有简单的近端映射，这些方法依然有效。