[论文解读] Stochastic First- and Zeroth-order Methods for Nonconvex Stochastic Programming

Saeed Ghadimi, Guanghui Lan|arXiv (Cornell University)|Sep 22, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用 48

一句话总结

该论文提出了一种用于非凸随机规划的随机梯度（RSG）方法，利用噪声的一阶和零阶预言机信息。该方法建立了近似最优的迭代复杂度以寻找近似驻点，并提出了一种后优化阶段以改善大偏差性能，其复杂度界表明在凸设置下，无梯度方法具有有利的维度依赖性收敛性。

ABSTRACT

In this paper, we introduce a new stochastic approximation (SA) type algorithm, namely the randomized stochastic gradient (RSG) method, for solving an important class of nonlinear (possibly nonconvex) stochastic programming (SP) problems. We establish the complexity of this method for computing an approximate stationary point of a nonlinear programming problem. We also show that this method possesses a nearly optimal rate of convergence if the problem is convex. We discuss a variant of the algorithm which consists of applying a post-optimization phase to evaluate a short list of solutions generated by several independent runs of the RSG method, and show that such modification allows to improve significantly the large-deviation properties of the algorithm. These methods are then specialized for solving a class of simulation-based optimization problems in which only stochastic zeroth-order information is available.

研究动机与目标

• 开发用于求解仅有限梯度或函数值信息的非凸随机规划问题的随机一阶和零阶方法。
• 建立在经典SA方法失效的非凸设置下，计算近似驻点的迭代复杂度界。
• 通过使用多次独立运行的后优化阶段，改善随机算法的大偏差行为。
• 将RSG方法专门应用于仅具有随机零阶信息的基于模拟的优化问题。
• 分析光滑凸随机规划中无梯度方法的维度依赖性，表明其具有更好的可扩展性。

提出的方法

• 引入随机梯度（RSG）方法作为使用噪声一阶预言机（SFO）输出的随机逼近算法。
• 采用后优化阶段，通过评估多次独立RSG运行中产生的少量解，以增强鲁棒性和大偏差性能。
• 通过分析梯度估计器的期望范数及其与真实梯度的偏差，利用集中不等式推导复杂度界。
• 通过使用随机扰动来估计函数值差分，将方法适应于零阶设置。
• 使用参数μ的平滑技术处理非光滑性，并推导出平滑梯度估计器期望误差的界。
• 通过界定最终迭代点处梯度的期望范数，结合方差与偏差分解，建立收敛性。

实验结果

研究问题

• RQ1 随机一阶方法能否在具有噪声梯度信息的非凸随机规划问题中实现近乎最优的收敛速率？
• RQ2 如何在不增加迭代复杂度的前提下改善随机梯度方法的大偏差行为？
• RQ3 光滑凸随机规划中零阶方法的迭代和预言机复杂度是多少？其随维度的缩放特性如何？
• RQ4 RSG方法能否在仅使用函数值查询（零阶信息）的情况下保持有利的收敛速率？
• RQ5 在凸随机规划中，无梯度方法的维度依赖性与一阶方法相比如何？

主要发现

• RSG方法在非凸随机规划中寻找ε-近似驻点的迭代复杂度为O(1/ε²)，接近最优。
• 在凸问题中，RSG方法达到最优的O(1/ε²)迭代复杂度，与已知下界一致。
• 后优化阶段通过运行多个独立的RSG序列并选择最优解，将失败概率降低至Λ，从而改善大偏差性能。
• 零阶优化的2-RSGF方法的复杂度界为O(nL²D_f²log(1/Λ)/ε + nL²(Ḋ + D_f²/Ḋ)²σ²/ε² log(1/Λ) + n log²(1/Λ)/Λ (1 + σ²/ε))，显示出有利的维度依赖性。
• 分析表明，光滑凸SP中无梯度方法对维度n的依赖性显著弱于非光滑凸SP，表明其具有更好的可扩展性。
• 该方法在近似最优收敛速率的意义上实现最优，因为复杂度界与已知下界仅相差对数因子。