[论文解读] Pure Exploration for Multi-Armed Bandit Problems

Sébastien Bubeck, Rémi Munos+1 more|arXiv (Cornell University)|Feb 19, 2008

Advanced Bandit Algorithms Research参考文献 21被引用 7

一句话总结

本文研究多臂赌博机中的纯探索问题，目标是在固定次数的臂拉动后，最小化简单后悔值——即最优臂的期望奖励与推荐臂的估计奖励之间的差值。研究建立了累积后悔与简单后悔之间的基本权衡关系，证明了基于UCB的策略可实现对数尺度的后悔边界，并表明在连续臂赌博机中，最小化简单后悔等价于在可分度量空间上的所有连续均值奖励分布下最小化累积后悔。

ABSTRACT

We consider the framework of stochastic multi-armed bandit problems and study the possibilities and limitations of forecasters that perform an on-line exploration of the arms. These forecasters are assessed in terms of their simple regret, a regret notion that captures the fact that exploration is only constrained by the number of available rounds (not necessarily known in advance), in contrast to the case when the cumulative regret is considered and when exploitation needs to be performed at the same time. We believe that this performance criterion is suited to situations when the cost of pulling an arm is expressed in terms of resources rather than rewards. We discuss the links between the simple and the cumulative regret. One of the main results in the case of a finite number of arms is a general lower bound on the simple regret of a forecaster in terms of its cumulative regret: the smaller the latter, the larger the former. Keeping this result in mind, we then exhibit upper bounds on the simple regret of some forecasters. The paper ends with a study devoted to continuous-armed bandit problems; we show that the simple regret can be minimized with respect to a family of probability distributions if and only if the cumulative regret can be minimized for it. Based on this equivalence, we are able to prove that the separable metric spaces are exactly the metric spaces on which these regrets can be minimized with respect to the family of all probability distributions with continuous mean-payoff functions.

研究动机与目标

• 分析在仅关注最终推荐结果的简单后悔准则下，多臂赌博机问题中在线探索策略的性能。
• 建立简单后悔与累积后悔之间的理论联系，表明累积后悔越低，则简单后悔越高。
• 设计并分析在有限臂和连续臂赌博机设置下最小化简单后悔的算法。
• 刻画在连续臂赌博机中，对概率分布族实现简单后悔最小化的条件。
• 识别出哪些度量空间（特别是可分度量空间）可使所有连续均值奖励函数下的简单后悔最小化成为可能。

提出的方法

• 采用正式框架：预测者在 n 轮中采样各臂（n 未知），随后根据观测到的奖励推荐一个臂。
• 将简单后悔定义为最优臂的均值与推荐臂的样本均值之间的期望差值。
• 应用霍夫丁引理和次高斯尾部界，推导出样本均值与真实均值之间最大偏差的期望上界。
• 采用 UCB(α) 策略（α > 1）作为关键方法，表明其分配规则将探索集中于有希望的臂，从而减少简单后悔。
• 推导出简单后悔的一般下界，以累积后悔表示，建立基本权衡关系。
• 使用归一化常数 β 来在 UCB(α) 策略中平衡各臂的探索，根据次优性差距 Δi 进行调整。

实验结果

研究问题

• RQ1 在多臂赌博机问题中，简单后悔与累积后悔之间存在何种基本关系？
• RQ2 在连续臂赌博机问题中，能否最小化简单后悔？在何种条件下可以？
• RQ3 UCB(α) 策略在简单后悔方面与均匀分配策略相比表现如何？
• RQ4 在已知次优性差距的有限臂赌博机中，最小化简单后悔的最优分配策略是什么？
• RQ5 哪些度量空间允许对所有连续均值奖励函数实现简单后悔的最小化？

主要发现

• 一般下界表明，累积后悔越小，简单后悔越大，确立了基本权衡关系。
• 对于 α > 1 的 UCB(α)，期望简单后悔被上界为 O((n/Δ²)^{-(α-1)})，随 n 呈多项式衰减。
• UCB(α) 的简单后悔上界为 O((n/Δ²)^{-(α-1)})，显著优于均匀分配策略的 O(Δ exp(−Δ²n/K))，尤其当 K 较大时。
• 在连续臂赌博机中，对所有连续均值奖励分布最小化简单后悔，等价于最小化累积后悔。
• 仅当底层度量空间为可分时，才能对所有连续均值奖励函数实现简单后悔的最小化。
• 对于有限数量的臂，均匀分配的简单后悔下界为 Δ exp(−Δ²⌊n/K⌋)，其衰减为指数级，但当 K 较大时，慢于 UCB(α) 的衰减速率。