[论文解读] Nonasymptotic convergence of stochastic proximal point algorithms for constrained convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Jun 20, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用 9

一句话总结

本文分析了约束凸优化中随机近时代数（SPP）算法的非渐近收敛性，提出了包括平均SPP（A-SPP）和正则化SPP（RSPP）在内的变体。研究建立了SPP的收敛率为O(1/ϵ¹/γ)，RSPP的收敛率为O(1/ϵ¹⁺¹/γ)，表明随着步长指数γ减小，性能下降；实证结果表明RSPP收敛最快，而A-SPP对初始步长选择最具鲁棒性。

ABSTRACT

A very popular approach for solving stochastic optimization problems is the stochastic gradient descent method (SGD). Although the SGD iteration is computationally cheap and the practical performance of this method may be satisfactory under certain circumstances, there is recent evidence of its convergence difficulties and instability for unappropriate parameters choice. To avoid these drawbacks naturally introduced by the SGD scheme, the stochastic proximal point algorithms have been recently considered in the literature. We introduce a new variant of the stochastic proximal point method (SPP) for solving stochastic convex optimization problems subject to (in)finite intersection of constraints satisfying a linear regularity type condition. For the newly introduced SPP scheme we prove new nonasymptotic convergence results. In particular, for convex and Lipschitz continuous objective functions, we prove nonasymptotic estimates for the rate of convergence in terms of the expected value function gap of order $\mathcal{O}(1/k^{1/2})$, where $k$ is the iteration counter. We also derive better nonasymptotic bounds for the rate of convergence in terms of expected quadratic distance from the iterates to the optimal solution for smooth strongly convex objective functions, which in the best case is of order $\mathcal{O}(1/k)$. Since these convergence rates can be attained by our SPP algorithm only under some natural restrictions on the stepsize, we also introduce a restarting variant of SPP method that overcomes these difficulties and derive the corresponding nonasymptotic convergence rates. Numerical evidence supports the effectiveness of our methods in real-world problems.

研究动机与目标

• 分析在约束条件下，随机近时代数算法的非渐近收敛行为。
• 在有限时间设置下，比较SPP、平均SPP（A-SPP）、正则化SPP（RSPP）和SGD的性能表现。
• 通过实证验证依赖于步长指数γ的理论收敛速率。
• 评估算法对初始步长μ₀和步长衰减率γ的鲁棒性。

提出的方法

• 采用步长递减规则为μk = μ₀ / k^γ的随机近时代数算法。
• 引入一种平均变体（A-SPP），通过过去迭代点的加权平均输出以提升稳定性。
• 提出一种正则化SPP变体（RSPP），以提升收敛速度和鲁棒性。
• 使用随机最小二乘问题和真实世界Markowitz投资组合优化问题进行经验风险最小化，以测试算法性能。
• 采用到最优解的平方相对距离作为迭代过程中的收敛度量。
• 在γ值（1, 3/4, 1/2, 1/4）和初始步长μ₀（0.5, 1）变化的条件下评估性能表现。

实验结果

研究问题

• RQ1 在约束凸优化下，SPP算法的非渐近收敛率是多少？
• RQ2 步长指数γ的选择如何影响SPP和RSPP的收敛速度与鲁棒性？
• RQ3 A-SPP在不同初始步长值下与标准SPP和RSPP相比，其稳定性如何？
• RQ4 SPP、RSPP、A-SPP和SGD在单次数据遍历中表现如何，特别是在γ减小时？
• RQ5 实证结果在多大程度上支持理论上的O(1/ϵ¹/γ)和O(1/ϵ¹⁺¹/γ)收敛速率？

主要发现

• 当步长指数γ = 1时，SPP算法表现最佳，与理论预期一致。
• 实验证明RSPP收敛速度最快，在所有测试设置下均优于SPP、A-SPP和SGD。
• A-SPP对初始步长μ₀的变化表现出更优的鲁棒性，在μ₀ = 0.5和μ₀ = 1时均保持稳定性能。
• SGD在γ减小时性能显著下降，且对μ₀高度敏感，尤其在γ = 1/2时表现明显。
• 实证结果与理论收敛速率高度吻合：SPP收敛于O(1/ϵ¹/γ)，RSPP收敛于O(1/ϵ¹⁺¹/γ)。
• SPP和RSPP的性能随γ减小而恶化，证实了理论中收敛速度与稳定性之间的权衡。