[论文解读] X-Armed Bandits

Sébastien Bubeck, Rémi Munos+2 more|arXiv (Cornell University)|Jan 25, 2010

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

本文提出了 HOO（分层乐观优化），一种针对 X-armed Bandits 的新型策略，其中动作构成一般可测空间，且平均收益关于已知差异函数满足利普希茨连续性。当动作空间为单位超立方体且收益函数具有有限个全局最大值并具备已知局部光滑性时，HOO 实现了 √n 阶的遗憾边界（对数因子内），且该结果与维度无关，并在度量差异函数下证明了极小极大最优性。

ABSTRACT

We consider a generalization of stochastic bandits where the set of arms, $\cX$, is allowed to be a generic measurable space and the mean-payoff function is Lipschitz with respect to a dissimilarity function that is known to the decision maker. Under this condition we construct an arm selection policy, called HOO (hierarchical optimistic optimization), with improved regret bounds compared to previous results for a large class of problems. In particular, our results imply that if $\cX$ is the unit hypercube in a Euclidean space and the mean-payoff function has a finite number of global maxima around which the behavior of the function is locally continuous with a known smoothness degree, then the expected regret of HOO is bounded up to a logarithmic factor by $\sqrt{n}$, i.e., the rate of growth of the regret is independent of the dimension of the space. We also prove the minimax optimality of our algorithm when the dissimilarity is a metric. Our basic strategy has quadratic computational complexity as a function of the number of time steps and does not rely on the doubling trick. We also introduce a modified strategy, which relies on the doubling trick but runs in linearithmic time. Both results are improvements with respect to previous approaches.

研究动机与目标

• 解决动作空间为一般可测空间（不限于有限或欧几里得域）的随机 Bandit 问题。
• 通过利用平均收益函数的结构假设，在高维或连续动作空间中改进遗憾边界。
• 设计一种在收益函数具有有限个全局最大值且已知局部光滑性时，实现与维度无关的遗憾增长的策略。
• 在度量差异函数下建立所提方法的极小极大最优性。
• 设计一种计算复杂度优于先前方法的高效算法。

提出的方法

• HOO 策略使用分层树结构对动作空间进行划分，其中每个节点代表一组动作的子集。
• 在每个时间步，算法基于从采样奖励中推导出的置信区间，使用乐观的上置信界（UCB）策略选择动作。
• 该算法为树中每个节点维护置信区间，并选择具有最高上置信界的节点，递归地向有希望的区域进行细化。
• 树的构建方式使得深层节点代表更小的子集，从而实现在潜在最大值附近的局部探索。
• 该策略依赖于平均收益函数关于已知差异函数的利普希茨性质，以限制不同动作间期望收益的变化。
• HOO 的改进版本使用加倍技巧（doubling trick），将计算复杂度从二次方降低至线性ithmic 时间，代价是实现略为复杂。

实验结果

研究问题

• RQ1 当平均收益函数具有有限个全局最大值且已知局部光滑性时，是否能设计出遗憾增长与动作空间维度无关的 Bandit 算法？
• RQ2 在关于差异函数的已知利普希茨条件下，X-Armed Bandits 的最优遗憾率是多少？
• RQ3 当差异函数为度量时，所提出的 HOO 策略是否为极小极大最优？
• RQ4 如何高效地实现基于分层树的探索，以在可控计算成本下保持低遗憾？
• RQ5 加倍技巧能否有效应用于分层 Bandit 策略，以降低时间复杂度而不牺牲遗憾性能？

主要发现

• 当动作空间为单位超立方体且平均收益函数具有有限个全局最大值并具备已知局部光滑性时，HOO 实现了 O(√n) 阶的期望遗憾边界（对数因子内）。
• HOO 的遗憾边界与动作空间的维度无关，这在高维设置下显著优于先前方法。
• 当差异函数为度量时，该算法达到极小极大最优性，即其遗憾增长匹配理论下界。
• 基础 HOO 算法在时间步数上具有二次方计算复杂度，但无需使用加倍技巧即可实现优异的遗憾性能。
• 采用加倍技巧的改进型 HOO 变体将时间复杂度降低至线性ithmic，同时保持相同的遗憾边界，提供了效率与性能之间的实用权衡。