[论文解读] Stochastic Conditional Gradient++

Hamed Hassani, Amin Karbasi+2 more|arXiv (Cornell University)|Feb 19, 2019

Stochastic Gradient Optimization Techniques参考文献 74被引用 14

一句话总结

该论文提出了一种新型方差减少技术——随机条件梯度++（SFW++），用于非盲性随机优化，能够高效地最小化非凸与凸函数，并最大化连续DR-子模函数。其在凸最小化与子模最大化问题中均实现了最优收敛速率$O(1/\theta^2)$，并提供了紧致的$(1-1/e)$-近似保证，同时通过信息论论证证明了其收敛速率的最优性。

ABSTRACT

In this paper, we consider the general non-oblivious stochastic optimization where the underlying stochasticity may change during the optimization procedure and depends on the point at which the function is evaluated. We develop Stochastic Frank-Wolfe++ ($ ext{SFW}{++} $), an efficient variant of the conditional gradient method for minimizing a smooth non-convex function subject to a convex body constraint. We show that $ ext{SFW}{++} $ converges to an $ε$-first order stationary point by using $O(1/ε^3)$ stochastic gradients. Once further structures are present, $ ext{SFW}{++}$'s theoretical guarantees, in terms of the convergence rate and quality of its solution, improve. In particular, for minimizing a convex function, $ ext{SFW}{++} $ achieves an $ε$-approximate optimum while using $O(1/ε^2)$ stochastic gradients. It is known that this rate is optimal in terms of stochastic gradient evaluations. Similarly, for maximizing a monotone continuous DR-submodular function, a slightly different form of $ ext{SFW}{++} $, called Stochastic Continuous Greedy++ ($ ext{SCG}{++} $), achieves a tight $[(1-1/e) ext{OPT} -ε]$ solution while using $O(1/ε^2)$ stochastic gradients. Through an information theoretic argument, we also prove that $ ext{SCG}{++} $'s convergence rate is optimal. Finally, for maximizing a non-monotone continuous DR-submodular function, we can achieve a $[(1/e) ext{OPT} -ε]$ solution by using $O(1/ε^2)$ stochastic gradients. We should highlight that our results and our novel variance reduction technique trivially extend to the standard and easier oblivious stochastic optimization settings for (non-)covex and continuous submodular settings.

研究动机与目标

• 解决非盲性随机优化中的挑战，即目标函数的随机性依赖于决策变量，该设定使得标准方差减少技术失效。
• 设计一种新型方差减少机制，即使在随机函数的分布依赖于当前迭代点时，也能在不引入偏差的前提下实现无偏梯度差估计。
• 在非盲性随机设置下，为非凸最小化与连续子模最大化问题实现最优收敛速率。
• 通过最少的随机梯度调用，提供收敛至高质量解的理论保证，例如对单调DR-子模最大化问题实现$(1-1/e)$-近似。
• 证明在子模最大化问题中，随机连续贪心++（SCG++）算法的收敛速率具有信息论最优性。

提出的方法

• 提出随机条件梯度++（SFW++），一种专为非盲性随机优化设计的Frank-Wolfe方法变体，其中随机函数的分布依赖于当前决策变量。
• 引入一种新型方差减少技术，通过利用问题的结构特性，在分布依赖于点的情况下，仅用单一样本即可估计两点间梯度差。
• 采用两级采样机制：一级用于估计梯度，另一级用于估计梯度差，确保随机更新中偏差低且方差可控。
• 在保持迭代点位于可行凸体内部的同时，结合线搜索的Frank-Wolfe更新规则，并引入方差减少的梯度估计以提升收敛性。
• 为连续DR-子模最大化设计专用变体——随机连续贪心++（SCG++），其采用归一化方向与精心调校的步长，以实现高精度近似保证。
• 利用鞅集中不等式与可行集的强凸性类似性质，证明收敛界，从而得到对次优性与收敛速率的紧致界。

实验结果

研究问题

• RQ1 能否为非盲性随机优化设计一种方差减少技术，使得随机函数的分布依赖于当前决策变量？
• RQ2 在非盲性设置下，随机一阶方法在非凸与凸最小化问题中的最优收敛速率是什么？
• RQ3 SFW++算法能否在最优样本复杂度下实现对单调连续DR-子模最大化的$(1-1/e)$-近似？
• RQ4 在非盲性设置下，子模最大化的$O(1/\theta^2)$收敛速率是否具有信息论最优性？
• RQ5 所提出的方法能否应用于具有凸约束的强化学习策略梯度问题，实现最优轨迹复杂度？

主要发现

• 对于非凸最小化，SFW++在$O(1/\epsilon^3)$次随机梯度评估内收敛至$\epsilon$-一阶驻点，优于先前的$O(1/\epsilon^4)$速率。
• 对于凸最小化，SFW++仅需$O(1/\epsilon^2)$次随机梯度即可达到$\epsilon$-最优解，与信息论最优速率一致。
• 对于单调连续DR-子模最大化，SCG++在$O(1/\epsilon^2)$次随机梯度下实现$[(1-1/e)\text{OPT} - \epsilon]$的解，且近似保证紧致。
• SCG++的收敛速率通过归约至估计伯努利参数或求解困难的子模最大化实例的难度，被证明具有信息论最优性。
• 对于非单调连续DR-子模最大化，该算法在$O(1/\epsilon^2)$次随机梯度下实现$[(1/e)\text{OPT} - \epsilon]$的解。
• 作为副产品，SFW++在非盲性设置下，为具有凸约束的强化学习策略梯度方法首次提供了$O(1/\epsilon^3)$的轨迹复杂度。