[论文解读] Towards Gradient Free and Projection Free Stochastic Optimization

Anit Kumar Sahu, Manzil Zaheer+1 more|arXiv (Cornell University)|Oct 8, 2018

Stochastic Gradient Optimization Techniques被引用 18

一句话总结

该论文提出了一种零阶Frank-Wolfe算法，用于随机约束优化，该算法既无需梯度也无需投影，而是使用方向导数查询代替梯度。在凸设置下，其原始子最优性间隙为$O(d^{1/3}/T^{1/3})$；在非凸设置下，Frank-Wolfe间隙为$O(d^{1/3}T^{-1/4})$，在每轮迭代仅使用一个方向导数的零阶方法中，其维度依赖关系为最优。

ABSTRACT

This paper focuses on the problem of \emph{constrained} \emph{stochastic} optimization. A zeroth order Frank-Wolfe algorithm is proposed, which in addition to the projection-free nature of the vanilla Frank-Wolfe algorithm makes it gradient free. Under convexity and smoothness assumption, we show that the proposed algorithm converges to the optimal objective function at a rate $O\left(1/T^{1/3} ight)$, where $T$ denotes the iteration count. In particular, the primal sub-optimality gap is shown to have a dimension dependence of $O\left(d^{1/3} ight)$, which is the best known dimension dependence among all zeroth order optimization algorithms with one directional derivative per iteration. For non-convex functions, we obtain the \emph{Frank-Wolfe} gap to be $O\left(d^{1/3}T^{-1/4} ight)$. Experiments on black-box optimization setups demonstrate the efficacy of the proposed algorithm.

研究动机与目标

• 解决仅能获取函数评估值（零阶预言机）而无法获取梯度时的约束随机优化问题。
• 开发一种无需投影的方法，避免投影梯度方法中常见的昂贵投影步骤。
• 在零阶随机优化中实现收敛速率的最优维度依赖关系。
• 通过引入梯度平均技术，解决零阶随机Frank-Wolfe中偏差梯度估计与非衰减噪声的挑战。
• 在零阶访问条件下，建立凸与非凸设置下的理论收敛速率。

提出的方法

• 提出一种使用零阶预言机的随机Frank-Wolfe算法，以方向导数估计替代梯度查询。
• 采用三种零阶梯度近似方案：Kiefer-Wolfe（KWSA）、随机方向（RDSA）以及改进的RDSA（I-RDSA），且方向数$m < d$。
• 引入梯度平均技术，以降低代理梯度估计中的偏差与噪声，从而稳定收敛过程。
• 使用递减步长$\gamma = T^{-3/4}$，以及自适应步长$\rho_t$与$c_t$，以平衡收敛性与误差减少。
• 通过分析梯度近似误差并将其与Frank-Wolfe间隙及原始子最优性关联，推导收敛边界。
• 通过递归误差边界建立理论收敛性，并应用引理B.1证明$\mathbb{E}[\|\nabla f(\mathbf{x}_t) - \mathbf{d}_t\|^2] = O((d/m)^{2/3}/(t+9)^{1/2})$。

实验结果

研究问题

• RQ1 能否在仅使用零阶预言机访问的情况下，使随机Frank-Wolfe算法实现无梯度化并保持收敛？
• RQ2 在每轮迭代仅使用一个方向导数的条件下，零阶随机Frank-Wolfe方法的收敛速率最优维度依赖关系为何？
• RQ3 如何通过稳定零阶预言机产生的偏差与噪声梯度估计，以确保随机Frank-Wolfe的收敛性？
• RQ4 所提方法是否在维度依赖关系上优于现有零阶随机优化算法？
• RQ5 在零阶访问条件下，凸与非凸设置下的理论收敛速率分别是多少？

主要发现

• 所提算法在凸设置下实现了$O(d^{1/3}/T^{1/3})$的原始子最优性间隙，该结果在每轮仅使用一个方向导数的零阶方法中具有最优已知维度依赖关系。
• 对于非凸函数，Frank-Wolfe对偶间隙以$O(d^{1/3}T^{-1/4})$的速率收敛，优于先前的随机零阶方法。
• 该方法通过梯度平均技术降低偏差与噪声，即使在梯度估计不衰减的情况下，也能实现稳定收敛。
• 收敛速率对维度具有鲁棒性，$d^{1/3}$的依赖关系在给定预言机模型下为最优。
• 理论分析在较弱假设下确认了收敛性，且对梯度近似误差与子最优性均给出了明确的边界。
• 在黑箱优化设置下的实验验证了所提算法在实际应用中的有效性。