[论文解读] PAC Identification of Many Good Arms in Stochastic Multi-Armed Bandits

Arghya Roy Chaudhuri, Shivaram Kalyanakrishnan|arXiv (Cornell University)|Jan 24, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 3

一句话总结

本文提出了在随机多臂赌博机中识别出 $k$ 个最优 $m$ 个臂中的问题，即 PAC 识别问题，该问题推广了最佳子集选择和单臂识别两种情形。提出了 LUCB-$k$-$m$ 算法，其样本复杂度与已知的下界在常数因子内匹配，并将该框架扩展至无限臂赌博机，样本复杂度与最优解仅相差对数多项式量级。

ABSTRACT

We consider the problem of identifying any $k$ out of the best $m$ arms in an $n$-armed stochastic multi-armed bandit. Framed in the PAC setting, this particular problem generalises both the problem of `best subset selection' and that of selecting `one out of the best m' arms [arcsk 2017]. In applications such as crowd-sourcing and drug-designing, identifying a single good solution is often not sufficient. Moreover, finding the best subset might be hard due to the presence of many indistinguishably close solutions. Our generalisation of identifying exactly $k$ arms out of the best $m$, where $1 \leq k \leq m$, serves as a more effective alternative. We present a lower bound on the worst-case sample complexity for general $k$, and a fully sequential PAC algorithm, \GLUCB, which is more sample-efficient on easy instances. Also, extending our analysis to infinite-armed bandits, we present a PAC algorithm that is independent of $n$, which identifies an arm from the best $ρ$ fraction of arms using at most an additive poly-log number of samples than compared to the lower bound, thereby improving over [arcsk 2017] and [Aziz+AKA:2018]. The problem of identifying $k > 1$ distinct arms from the best $ρ$ fraction is not always well-defined; for a special class of this problem, we present lower and upper bounds. Finally, through a reduction, we establish a relation between upper bounds for the `one out of the best $ρ$' problem for infinite instances and the `one out of the best $m$' problem for finite instances. We conjecture that it is more efficient to solve `small' finite instances using the latter formulation, rather than going through the former.

研究动机与目标

• 为解决实际场景中仅识别单一最优臂不足的问题，例如分布式众包或药物设计，需要多个优质解。
• 将现有问题统一：最佳子集选择（$k=m$）和单个最优 $m$ 个中的识别（$k=1$），推广为从 $n$ 个臂中识别出 $k$ 个来自前 $m$ 个最优臂的统一框架。
• 在有限臂和无限臂赌博机设置下，为广义的 $(k,m,n)$ 问题建立理论样本复杂度边界。
• 设计一种完全顺序、自适应的 PAC 算法 LUCB-$k$-$m$，以最小采样次数高效识别出 $k$ 个优质臂。
• 分析在无限臂赌博机中识别 $k$ 个不同臂来自最佳 $\rho$ 分数的可行性与复杂度，并通过归约建立有限实例与无限实例之间的联系。

提出的方法

• 提出一种新问题设定：在随机多臂赌博机中，于 PAC 框架下识别出 $n$ 个臂中前 $m$ 个最优臂中的 $k$ 个。
• 引入 LUCB-$k$-$m$ 算法，一种完全顺序、自适应的算法，利用置信区间上下界对次优臂进行顺序剔除。
• 推导出 $(k,m,n)$ 问题在最坏情况下的样本复杂度下界，推广了 $k=1$ 和 $k=m$ 情况下的已有下界。
• 通过定义 $\rho$-最优臂（即均值在 $\rho$-分位数 $\epsilon$ 范围内的臂），将分析扩展至无限臂赌博机，并提出一种 PAC 算法，其样本复杂度与下界仅相差一个对数多项式项。
• 识别出一类适定的 $k$-出最佳 $\rho$-分数问题实例，并提供具有理论保证的相应算法。
• 建立无限臂 $(k,\rho)$-问题与有限臂 $(k,m,n)$-问题之间的归约关系，表明求解有限版本可能更高效。

实验结果

研究问题

• RQ1 在随机赌博机中，从 $n$ 个臂中识别出前 $m$ 个最优臂中的 $k$ 个，其基本样本复杂度下界是什么？
• RQ2 能否设计一种完全顺序、自适应的算法，使其在广义 $(k,m,n)$ 问题上实现接近最优的样本复杂度？
• RQ3 在无限臂赌博机中，识别 $k$ 个来自最佳 $\rho$ 分数的样本复杂度如何变化？能否使其接近信息论下界？
• RQ4 在何种条件下，识别 $k$ 个不同的 $[\epsilon,\rho]$-最优臂的问题是适定的？如何高效求解？
• RQ5 在样本效率方面，求解有限臂 $(k,m,n)$ 问题是否相对于无限臂 $(k,\rho)$ 问题具有结构性优势？

主要发现

• LUCB-$k$-$m$ 算法的期望样本复杂度在 $k=1$ 和 $k=m$ 情况下与已知下界仅相差常数因子。
• 实验评估表明，LUCB-$k$-$m$ 在样本效率方面显著优于现有算法（如 $\mathcal{F}_2$），尤其当 $n$ 增大时优势更明显。
• 对于无限臂赌博机，所提算法识别出一个 $[\epsilon,\rho]$-最优臂的样本复杂度与下界仅相差一个 $O(\log^2(1/\delta))$ 的加性项，优于先前工作。
• 识别 $k$ 个不同 $[\epsilon,\rho]$-最优臂的问题并非总是适定的，但特定类别的实例可被适定化，并具备可证明的边界。
• 建立了无限臂 $(k,\rho)$-问题与有限臂 $(k,m,n)$-问题之间的归约关系，表明有限实例可能更高效求解。
• 作者推测，求解有限臂 $(k,m,n)$ 问题比求解对应的无限臂 $(k,\rho)$ 问题更具样本效率，该方向留待未来工作进一步探索。