[论文解读] Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Sep 9, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用 10

一句话总结

本文提出了一种新型算法——随机块镜面梯度下降（Stochastic Block Mirror Descent, SBMD），通过将块坐标分解与镜面梯度中的增量平均相结合，降低了大规模非光滑及随机优化问题的每次迭代成本。该文建立了收敛速率与复杂度边界，表明SBMD在保持最优迭代复杂度的同时，显著降低了计算成本，尤其适用于具有块结构变量的高维问题。

ABSTRACT

In this paper, we present a new stochastic algorithm, namely the stochastic block mirror descent (SBMD) method for solving large-scale nonsmooth and stochastic optimization problems. The basic idea of this algorithm is to incorporate the block-coordinate decomposition and an incremental block averaging scheme into the classic (stochastic) mirror-descent method, in order to significantly reduce the cost per iteration of the latter algorithm. We establish the rate of convergence of the SBMD method along with its associated large-deviation results for solving general nonsmooth and stochastic optimization problems. We also introduce different variants of this method and establish their rate of convergence for solving strongly convex, smooth, and composite optimization problems, as well as certain nonconvex optimization problems. To the best of our knowledge, all these developments related to the SBMD methods are new in the stochastic optimization literature. Moreover, some of our results also seem to be new for block coordinate descent methods for deterministic optimization.

研究动机与目标

• 解决传统随机优化与块坐标方法在大规模随机优化中计算成本高、内存负担重的问题。
• 开发一种利用块分解与增量平均的随机算法，以降低每次迭代的计算成本，同时保持收敛性保证。
• 为非光滑、光滑、强凸、复合及非凸随机优化问题建立收敛速率与复杂度边界。
• 将镜面梯度方法的应用范围扩展至具有随机目标的块结构问题。
• 为非光滑与非凸随机复合问题提供关于大偏差行为与收敛性的新理论结果。

提出的方法

• 通过将块坐标下降与镜面梯度结合，并引入增量块平均，提出随机块镜面梯度下降（SBMD）方法。
• 采用均匀概率的随机块选择策略，每次迭代仅更新一个变量块。
• 采用小批量方法估计次梯度，以降低随机梯度中的方差。
• 采用递归平均方案计算最终输出解，提升收敛稳定性。
• 使用类似邻近点的更新方式，结合Bregman散度，以处理非光滑与复合目标。
• 在非凸情况下引入随机化方案以计算输出，替代增量平均。

实验结果

研究问题

• RQ1 块坐标分解能否有效与随机镜面梯度下降结合，以降低大规模随机优化中每次迭代的成本？
• RQ2 在非光滑、光滑及强凸随机设置下，SBMD的收敛速率与迭代复杂度可建立为何种边界？
• RQ3 SBMD在非凸随机复合优化中的表现如何？可推导出何种复杂度边界？
• RQ4 在非凸问题中，能否用随机化方案替代增量平均方案以改善收敛性？
• RQ5 块结构与小批量采样对SBMD整体样本复杂度有何影响？

主要发现

• 对于一般非光滑随机问题，SBMD方法在寻找$\epsilon$-最优解时，达到$\mathcal{O}(b\bar{L}[φ(x_1) - \phi^*]/\epsilon)$的迭代复杂度。
• 在采用小批量采样的随机情况下，所需总样本数被限制在$\mathcal{O}(b^2\bar{L}\sigma^2[φ(x_1) - \phi^*]/\epsilon^2)$，与不采用块分解的最先进方法相当。
• 该方法在期望的最优性间隙范数上达到$\mathcal{O}(1/N)$的收敛速率，常数因子依赖于块结构与问题条件数。
• 建立了大偏差结果，表明在梯度噪声与块选择的弱假设下，可实现高概率收敛。
• 分析扩展至非凸随机复合问题，通过随机输出方案提供了最坏情况复杂度边界。
• 理论结果对确定性块坐标下降也具有新意，尤其针对非光滑与非凸复合问题的大偏差分析。