[论文解读] On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging

Angelia Nedich, Soomin Lee|arXiv (Cornell University)|Jul 7, 2013

Stochastic Gradient Optimization Techniques参考文献 19被引用 4

一句话总结

该论文提出了一种带有加权迭代平均的随机次梯度镜像下降算法，其收敛速率达到最优——强凸函数为$1/k$，一般凸函数为$1/\sqrt{k}$，且更新规则比以往方法更简单。其关键创新在于受Tseng加速框架启发的步长与权重选择，使得在使用非可 summable 步长如$1/\sqrt{k+1}$时，能够实现几乎必然的子序列收敛，这是文献中首次出现的成果。

ABSTRACT

This paper considers stochastic subgradient mirror-descent method for solving constrained convex minimization problems. In particular, a stochastic subgradient mirror-descent method with weighted iterate-averaging is investigated and its per-iterate convergence rate is analyzed. The novel part of the approach is in the choice of weights that are used to construct the averages. Through the use of these weighted averages, we show that the known optimal rates can be obtained with simpler algorithms than those currently existing in the literature. Specifically, by suitably choosing the stepsize values, one can obtain the rate of the order $1/k$ for strongly convex functions, and the rate $1/\sqrt{k}$ for general convex functions (not necessarily differentiable). Furthermore, for the latter case, it is shown that a stochastic subgradient mirror-descent with iterate averaging converges (along a subsequence) to an optimal solution, almost surely, even with the stepsize of the form $1/\sqrt{1+k}$, which was not previously known. The stepsize choices that achieve the best rates are those proposed by Paul Tseng for acceleration of proximal gradient methods.

研究动机与目标

• 开发一种更简单的随机次梯度镜像下降算法，以实现凸函数和强凸函数问题的最优收敛速率。
• 在非可summable步长（特别是$\alpha_k = 1/\sqrt{k+1}$）下，建立平均迭代序列的几乎必然子序列收敛性，该结果此前未知。
• 通过使用受Tseng和Nesterov启发的新型李雅普诺夫函数与步长加权策略，统一并简化现有加速方法。
• 通过仿真表明，所提方法在性能上可与现有加速算法（如AC-SA和Nesterov的PD方法）相媲美或更优。

提出的方法

• 使用基于Bregman距离的投影，对凸约束集进行随机次梯度镜像下降更新。
• 采用基于步长序列的加权迭代平均，具体为$\alpha_k = 1/\sqrt{k+1}$或$\alpha_k = 1/k$，适用于不同情形。
• 引入一种新型李雅普诺夫函数以分析收敛性，结合镜像下降的进展与平均动态。
• 采用受Tseng加速框架启发的步长规则，证明其可实现最优速率，且无需复杂的三序列构造。
• 通过统一分析推导收敛速率，该分析适用于具有紧约束集的强凸函数与一般凸函数。
• 使用平均迭代$\hat{x}_k = \sum_{i=1}^k w_i x_i / \sum_{i=1}^k w_i$作为最终输出，其中权重$w_i$与步长序列成比例。

实验结果

研究问题

• RQ1 能否设计一种更简单的随机镜像下降算法，在无需复杂三序列更新的情况下，实现强凸函数的最优$1/k$收敛速率？
• RQ2 在非可summable步长（如$1/\sqrt{k+1}$）下，加权平均是否能保证几乎必然的子序列收敛至最优解？
• RQ3 所提方法能否在性能上与现有加速随机次梯度方法（如AC-SA和Nesterov的PD方法）相媲美或更优？
• RQ4 李雅普诺夫函数在统一分析强凸与一般凸情形的收敛性方面起到何种作用？

主要发现

• 所提算法在强凸函数下实现了最优的$1/k$收敛速率，且更新规则比以往加速方法（如Ghadimi和Lan [9] 以及Juditsky等人 [10] 的方法）更简单。
• 对于具有紧约束集的一般凸函数，该方法在使用步长$\alpha_k = 1/\sqrt{k+1}$时，实现了目前已知的最佳$1/\sqrt{k}$收敛速率。
• 该论文首次建立了在非可summable步长$\alpha_k = 1/\sqrt{k+1}$下，随机镜像下降方法的几乎必然子序列收敛结果，是理论上的重要进展。
• 仿真结果表明，该方法在性能上与AC-SA和Nesterov的PD方法相当，且在某些实例的早期迭代中表现略优。
• 基于步长导出的加权平均方案，可在无需额外内存或复杂序列追踪的情况下实现最优收敛速率。
• 使用新型李雅普诺夫函数简化了收敛性分析，并统一处理了强凸与一般凸情形。