[论文解读] Universal fast gradient method for stochastic composit optimization problems

Alexander Gasnikov, Yurii Nesterov|arXiv (Cornell University)|Apr 18, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用 12

一句话总结

本文提出三角形方法（TM），一种适用于凸与严格凸复合随机优化问题的通用快速梯度方法，每轮迭代仅需一次投影。该方法被扩展为通用三角形方法（UTM）与随机通用三角形方法（SUTM），实现了最优收敛速率并匹配已知的下界，在结构假设下性能更优。

ABSTRACT

We propose a new simple variant of Fast Gradient Method that requires only one projection per iteration. We called this method Triangle Method (TM) because it has a corresponding geometric description. We generalize TM for convex and strictly convex composite optimization problems. Then we propose Universal Triangle Method (UTM) for convex and strictly convex composite optimization problems (see Yu. Nesterov, Math. Program. 2015. for more details about what is Universal Fast Gradient Method). Finally, based on mini-batch technique we propose Stochastic Universal Triangle Method (SUTM). SUTM can be applied to stochastic convex and strictly convex composite optimization problems. Denote, that all the methods TM, UTM, SUTM are continuous on strictly convexity parameter and all of them reach known lower bounds. With additional assumption about the structure of the problems these methods work better than the lower bounds.

研究动机与目标

• 开发一种适用于随机复合优化的快速梯度方法，使每轮迭代的计算开销最小化。
• 将三角形方法（TM）推广，以同时处理凸与严格凸复合问题。
• 设计一种通用变体（UTM），可自适应未知问题参数而无需先验知识。
• 通过小批量技术将方法扩展至随机设置，得到适用于大规模问题的SUTM。
• 实现与已知理论下界匹配的收敛速率，并在结构假设下表现更优。

提出的方法

• 三角形方法（TM）具有几何动机，采用三点更新策略，每轮迭代仅需一次投影。
• UTM通过引入一种自适应步长策略对TM进行推广，该策略无需预先知晓强凸性或利普希茨常数。
• SUTM通过使用小批量估计梯度，将UTM框架应用于随机设置，从而降低方差。
• 该方法采用类似动量的更新方式，并通过精心设计的外推步骤加速收敛。
• 所有方法在强凸性参数上均为连续的，确保在不同问题类别中行为稳定。
• 理论分析表明，该方法在确定性与随机设置下的收敛速率均与已知下界匹配。

实验结果

研究问题

• RQ1 能否设计一种仅需每轮迭代一次投影的快速梯度方法，同时保持最优收敛速率？
• RQ2 如何构建一种通用方法，使其能自适应未知问题参数（如强凸性与利普希茨常数）？
• RQ3 所提方法能否在使用小批量梯度估计的随机设置下实现最优收敛速率？
• RQ4 在问题具有额外结构假设（如光滑性或特定几何结构）时，该方法是否能超越已知下界？
• RQ5 当强凸性参数未知或变化时，该方法的理论收敛行为如何？

主要发现

• 所提出的三角形方法（TM）在仅需每轮迭代一次投影的条件下，对凸与严格凸复合问题实现了最优收敛速率。
• 通用三角形方法（UTM）在无需预先知晓问题参数的情况下，实现了相同的最优速率，因而具有普遍适用性。
• 随机通用三角形方法（SUTM）在随机复合优化问题中匹配了已知下界。
• 在额外结构假设（如光滑性或特定问题几何）下，该方法表现优于理论下界。
• 所有方法在强凸性参数上均为连续的，确保在不同问题条件下均具备鲁棒性能。
• 理论分析确认，TM、UTM与SUTM的收敛速率均为最优，并与已知的信息论下界完全匹配。