[论文解读] On Zeroth-Order Stochastic Convex Optimization via Random Walks

Tengyuan Liang, Hariharan Narayanan+1 more|arXiv (Cornell University)|Feb 11, 2014

Stochastic Gradient Optimization Techniques参考文献 8被引用 24

一句话总结

该论文提出了一种基于凸函数上境图上随机游走的零阶随机凸优化方法，在经过 $T$ 次查询后，实现了 $\tilde{\mathcal{O}}(n^7 T^{-1/2})$ 的次优率。该方法利用自适应函数查询和仿射变换来处理噪声评估，相比基于梯度估计的方法具有更高的鲁棒性。

ABSTRACT

We propose a method for zeroth order stochastic convex optimization that attains the suboptimality rate of $ ilde{\mathcal{O}}(n^{7}T^{-1/2})$ after $T$ queries for a convex bounded function $f:{\mathbb R}^n o{\mathbb R}$. The method is based on a random walk (the \emph{Ball Walk}) on the epigraph of the function. The randomized approach circumvents the problem of gradient estimation, and appears to be less sensitive to noisy function evaluations compared to noiseless zeroth order methods.

研究动机与目标

• 通过实现对维度和精度的近似最优依赖关系，弥合零阶随机凸优化中的理论差距。
• 开发一种对噪声函数评估具有鲁棒性的方法，避免依赖梯度估计。
• 分析在有限预言机访问条件下，基于随机游走的采样在凸函数上境图上的复杂度。
• 建立优于先前在随机设置下 $n^7$ 依赖边界的次优率。

提出的方法

• 该方法将函数的上境图在已知上界 $C_t$ 处截断，构造一个凸体。
• 采用球形游走（Ball Walk）随机游走，从上境图中生成近似均匀的样本，从而实现质心近似。
• 通过重复的噪声评估构建置信区间，利用自适应函数查询判断某一点是否位于上境图内部。
• 应用仿射变换 $\mathcal{T}$ 将该体映射到等分布位置，简化分析并确保均匀采样行为。
• 引入一个“放弃带” $\delta$-边界以处理边界附近置信区间失效的点，该误差在概率上被有界。
• 算法通过迭代在样本平均的 $y$-坐标处切割该体，减小体积并逐步逼近最小值点。

实验结果

研究问题

• RQ1 基于随机游走的随机化方法是否能在零阶随机凸优化中实现优于基于梯度估计方法的理论复杂度？
• RQ2 在噪声函数评估下，预言机复杂度如何随维度 $n$ 和精度 $\epsilon$ 变化？
• RQ3 当梯度不可用时，能否通过函数值上的置信区间实现自适应采样，从而在上境图中实现鲁棒的成员判定？
• RQ4 在存在噪声的情况下，查询复杂度与边界接近度之间存在何种权衡？
• RQ5 随机化在多大程度上能提升零阶优化中对噪声的鲁棒性？

主要发现

• 所提方法在经过 $T$ 次查询后，实现了 $\tilde{\mathcal{O}}(n^7 T^{-1/2})$ 的次优率，显著提升了随机设置下的理论性能。
• 达到 $\epsilon$-精度的预言机复杂度被限制在 $\tilde{\mathcal{O}}(n^{14} \epsilon^{-2})$，优于先前的 $n^{33}$ 依赖边界。
• 每次查询的误差概率被限制在 $o(1/n^5)$ 以内，确保在 $\tilde{\mathcal{O}}(n^5)$ 次迭代中总误差保持为 $o(1)$。
• 每个点的期望预言机查询次数为 $\tilde{\mathcal{O}}(n^9 / \epsilon^2)$，该结果由自适应采样复杂度和体积缩减推导得出。
• 该方法天然支持并行化，使每台机器的查询成本降低 $n$ 倍。
• 分析表明，维度上的 $n^7$ 依赖关系在随机设置下是可实现的，从而缩小了与已知下界 $\Omega(n^2 \epsilon^{-2})$ 的差距。