[论文解读] Online convex optimization in the bandit setting: gradient descent without a gradient

Abraham D. Flaxman, Adam Tauman Kalai+1 more|ArXiv.org|Aug 2, 2004

Advanced Bandit Algorithms Research参考文献 17被引用 12

一句话总结

本文提出了一种多臂赌博机在线凸优化算法，通过仅基于单次函数评估获得的单点梯度估计，实现了 $O(n^{5/6})$ 的期望遗憾，从而在无需直接访问梯度的情况下实现梯度下降。该方法通过随机扰动近似梯度，并在平滑函数框架下应用，将Zinkevich的在线梯度下降方法推广至仅提供极少反馈的赌博机设置。

ABSTRACT

We consider a the general online convex optimization framework introduced by Zinkevich. In this setting, there is a sequence of convex functions. Each period, we must choose a signle point (from some feasible set) and pay a cost equal to the value of the next function on our chosen point. Zinkevich shows that, if the each function is revealed after the choice is made, then one can achieve vanishingly small regret relative the best single decision chosen in hindsight. We extend this to the bandit setting where we do not find out the entire functions but rather just their value at our chosen point. We show how to get vanishingly small regret in this setting. Our approach uses a simple approximation of the gradient that is computed from evaluating a function at a single (random) point. We show that this estimate is sufficient to mimic Zinkevich's gradient descent online analysis, with access to the gradient (only being able to evaluate the function at a single point).

研究动机与目标

• 将在线凸优化扩展至仅在每轮后揭示函数值而非梯度的赌博机设置。
• 设计一种基于梯度下降的算法，每轮仅依赖一次函数评估，避免直接计算梯度。
• 在有限反馈条件下建立在线凸优化的理论遗憾界，具体为对盲目对手的 $O(n^{5/6})$ 期望遗憾。
• 对单点梯度估计器在在线设置中作为真实梯度替代品的性能进行严格分析。
• 将Zinkevich的在线梯度下降框架推广至仅能通过黑箱函数访问的场景，利用随机扰动近似梯度。

提出的方法

• 该算法使用单点梯度估计器：$ \hat{g}_t = \frac{d}{\delta} c_t(x_t + \delta u_t) u_t $，其中 $ u_t $ 为均匀随机的单位向量。
• 该估计器近似了代价函数 $ c_t $ 的平滑版本的梯度，其定义为 $ \hat{f}(x) = \mathbb{E}[f(x + \delta u)] $。
• 该方法使用估计梯度 $ \hat{g}_t $ 进行投影梯度下降，更新规则为 $ x_{t+1} = \Pi_S(x_t - \eta \hat{g}_t) $。
• 分析利用了单点估计器的期望等于平滑函数梯度的性质，从而确保偏差较低。
• 该算法应用于通过仿射变换转换为等分布位置的凸集 $ S $，以改善其几何性质。
• 通过将算法性能与变换后域的直径和Lipschitz常数关联，推导出遗憾界。

实验结果

研究问题

• RQ1 在仅能观测函数值而非梯度的赌博机设置中，能否有效应用在线梯度下降？
• RQ2 当每轮仅能进行一次函数评估时，在线凸优化的可实现遗憾界是多少？
• RQ3 在对抗性在线设置中，单点梯度估计器对真实梯度的近似效果如何？
• RQ4 能否在不依赖完整梯度或多次评估的情况下，对在线梯度下降的遗憾进行有界控制？
• RQ5 几何结构（如等分布位置）对赌博机在线优化算法性能有何影响？

主要发现

• 该算法在对盲目对手的赌博机在线凸优化设置中，实现了 $ O(n^{5/6}) $ 的期望遗憾。
• 单点梯度估计器 $ \frac{d}{\delta} c_t(x_t + \delta u_t) u_t $ 是 $ c_t $ 的平滑版本梯度的无偏估计器。
• 对于直径为 $ D $ 的凸集 $ S $ 及 $ L $-Lipschitz 代价函数，当 $ S $ 被变换为等分布位置后，期望遗憾被限制在 $ 6n^{3/4}d(\sqrt{CLR} + C) $ 以内。
• 在不假设 $ L $-Lipschitz 条件时，期望遗憾被限制在 $ 6n^{5/6}dC $ 以内，其中 $ C $ 为函数值的有界值。
• 该方法在在线设置中实现了无需梯度访问的梯度下降，每轮仅需一次函数评估。
• 分析表明，即使真实梯度未知且函数为对抗性选择，单点估计器仍足以保证收敛。