[论文解读] Unimodal Bandits without Smoothness

Richard Combes, Alexandre Proutière|arXiv (Cornell University)|Jun 28, 2014

Advanced Bandit Algorithms Research参考文献 20被引用 13

一句话总结

该论文提出了一种用于连续动作空间的单峰 bandit 问题的随机五分法（Stochastic Pentachotomy, SP）算法，其中期望奖励函数是连续且单峰的，但不一定是光滑的。SP 使用序列统计检验，迭代缩小包含最优动作的区间，实现了 $O(\sqrt{T\log T})$ 的次优遗憾（regret）和 $O(\sqrt{\log T / T})$ 的优化误差，且无需事先知道奖励函数的光滑性参数 $\xi$ 和 $C$。该方法是首个在非光滑且光滑性未知的奖励函数下实现此量级性能的算法。

ABSTRACT

We consider stochastic bandit problems with a continuous set of arms and where the expected reward is a continuous and unimodal function of the arm. No further assumption is made regarding the smoothness and the structure of the expected reward function. For these problems, we propose the Stochastic Pentachotomy (SP) algorithm, and derive finite-time upper bounds on its regret and optimization error. In particular, we show that, for any expected reward function $μ$ that behaves as $μ(x)=μ(x^\star)-C|x-x^\star|^ξ$ locally around its maximizer $x^\star$ for some $ξ, C>0$, the SP algorithm is order-optimal. Namely its regret and optimization error scale as $O(\sqrt{T\log(T)})$ and $O(\sqrt{\log(T)/T})$, respectively, when the time horizon $T$ grows large. These scalings are achieved without the knowledge of $ξ$ and $C$. Our algorithm is based on asymptotically optimal sequential statistical tests used to successively trim an interval that contains the best arm with high probability. To our knowledge, the SP algorithm constitutes the first sequential arm selection rule that achieves a regret and optimization error scaling as $O(\sqrt{T})$ and $O(1/\sqrt{T})$, respectively, up to a logarithmic factor for non-smooth expected reward functions, as well as for smooth functions with unknown smoothness.

研究动机与目标

• 解决当奖励函数的光滑性未知或不存在时，连续动作空间下单峰 bandit 优化的挑战。
• 设计一种算法，实现最优的遗憾与优化误差量级，且不依赖于光滑性假设（如利普希茨连续性或可微性）。
• 在结构假设最少的前提下，弥合单峰 bandit 问题中已知下界与可实现性能之间的差距。
• 开发一种序列检验框架，自适应地缩小搜索区间，同时保持最优动作被包含在区间内的高概率。
• 对一大类单峰奖励函数（包括非光滑函数）实现 $O(\sqrt{T\log T})$ 的遗憾和 $O(\sqrt{\log T / T})$ 的优化误差。

提出的方法

• SP 算法以高概率维护一个包含最优动作的区间，并通过序列统计检验迭代缩小其大小。
• 每次区间缩小步骤均采用序列检验，至少在区间内采样三个动作，以获取足够的统计证据来缩小区间。
• 该算法使用序列检验的有限时间下界作为采样复杂度的下限，并设计出能匹配该下界的最优检验。
• 序列检验基于 Kullback-Leibler 散度和集中不等式，以控制错误概率并确保高置信度的区间收缩。
• 该方法避免依赖黄金分割搜索或两点采样，因为这些方法被证明不足以实现最优量级的性能。
• 该算法能自适应地响应奖励函数 $\mu(x) = \mu(x^\star) - C|x - x^\star|^\xi$ 的局部行为，而无需事先知道 $\xi$ 或 $C$。

实验结果

研究问题

• RQ1 能否设计一种 bandit 算法，在不假设光滑性或不知道光滑性参数 $\xi$ 的前提下，实现单峰奖励函数的次优遗憾与优化误差？
• RQ2 能否设计一种序列区间缩减过程，在最小化采样成本的同时，保持最优动作被包含在区间内的高概率？
• RQ3 为何两点采样策略（如黄金分割搜索）在非光滑环境下无法实现最优遗憾量级？
• RQ4 每次区间缩减步骤所需的最少内部采样数是多少，才能实现最优性能？
• RQ5 能否构造一种序列检验，使其采样复杂度与给定最小最大风险的有限时间下界相匹配？

主要发现

• SP 算法对任意满足 $\mu(x) = \mu(x^\star) - C|x - x^\star|^\xi$ 的单峰且连续的奖励函数，均实现 $O(\sqrt{T\log T})$ 的遗憾量级，且无需知道 $\xi$ 或 $C$。
• SP 算法的优化误差量级为 $O(\sqrt{\log T / T})$，与已知下界相比仅差一个对数因子。
• 该算法在光滑性未知的非光滑与光滑奖励函数下均为次优，优于需要已知光滑性信息的现有方法。
• 基于 KL 散度与集中不等式的序列检验在采样复杂度方面被证明是最优的，其性能与有限时间下界完全匹配。
• 研究证明，每次区间仅采样两个动作（如黄金分割搜索中所用）不足以实现最优遗憾量级，因此至少需要三个内部采样点。
• 数值实验表明，SP 显著优于假设已知光滑性的现有算法，尤其在非光滑场景下表现更优。