[论文解读] Multiple Identifications in Multi-Armed Bandits

Sébastien Bubeck, Tengyao Wang+1 more|arXiv (Cornell University)|May 14, 2012

Advanced Bandit Algorithms Research参考文献 4被引用 18

一句话总结

该论文提出SAR（连续接受与拒绝）算法，用于在固定预算下识别多臂赌博机中的前 $m$ 个最优臂。该方法引入了一种新的复杂度度量 $H^{\langle m\rangle}$，并证明SAR实现了 $\tilde{\mathcal{O}}(H^{\langle m\rangle})$ 的样本复杂度，显著优于基线方法如Successive Rejects（SR）和均匀采样，尤其在 $m > 1$ 时表现更优。该方法还作为副产品实现了多赌博机最优臂识别的无参数解法。

ABSTRACT

We study the problem of identifying the top $m$ arms in a multi-armed bandit game. Our proposed solution relies on a new algorithm based on successive rejects of the seemingly bad arms, and successive accepts of the good ones. This algorithmic contribution allows to tackle other multiple identifications settings that were previously out of reach. In particular we show that this idea of successive accepts and rejects applies to the multi-bandit best arm identification problem.

研究动机与目标

• 解决在固定预算下识别多臂赌博机中前 $m$ 个最优臂的开放问题，扩展先前关于单个最优臂识别的研究。
• 将单个最优臂识别的复杂度度量 $H$ 从单个最优臂推广至前 $m$ 个最优臂识别，引入 $H^{\langle m\rangle}$ 作为难度的表征。
• 为多赌博机最优臂识别问题开发一种无参数算法，解决Gabillon等人（2011年）提出的开放问题。
• 证明现有算法如SR在 $m > 1$ 时本质上次优，揭示多识别场景下与单识别场景不同的权衡特性。

提出的方法

• 提出SAR（连续接受与拒绝）算法，通过交替拒绝被认为次优的臂并接受可能属于前 $m$ 个的臂来工作。
• 引入新的复杂度度量 $H^{\langle m\rangle} = \sum_{i=1}^{K} \frac{1}{\Delta_i^{(m)\,2}}$，其中 $\Delta_i^{(m)}$ 是第 $m$ 个与第 $(m+1)$ 个均值之间的差距，该度量推广了单臂情形下的 $H_1$ 度量。
• 采用分阶段采样策略，每个阶段根据经验均值排序和差距估计，为各臂分配固定数量的抽取次数。
• 使用基于置信度的选择规则，通过 $c\sqrt{n / H^{\langle m\rangle} / T_i(t)}$ 的探索奖励，平衡探索与利用。
• 通过将每个赌博机视为独立实例，将SAR框架应用于多赌博机场景，实现无参数算法，样本复杂度为 $\tilde{\mathcal{O}}(H^{[M]})$。
• 利用数学归纳法和集中不等式推导误识别概率的理论边界，证明该算法以高概率避免错误选择。

实验结果

研究问题

• RQ1 Successive Rejects（SR）框架能否扩展至识别前 $m$ 个最优臂而非仅单个最优臂？若可扩展，需要哪些修改？
• RQ2 单臂识别复杂度 $H$ 的适当推广形式是什么？在前 $m$ 个最优臂场景下，其如何影响样本复杂度？
• RQ3 为何SR算法在 $m > 1$ 时于前 $m$ 个最优臂识别问题中表现不佳？与单臂情形相比，其结构差异为何？
• RQ4 SAR算法能否被调整以在不依赖 $H^{[M]}$ 复杂度先验知识的情况下解决多赌博机最优臂识别问题？
• RQ5 在不同差距分布下，SAR算法在误识别概率方面与均匀采样和基于UCB的方法（如Gap-E）相比表现如何？

主要发现

• SAR算法在识别前 $m$ 个最优臂时实现了 $\tilde{\mathcal{O}}(H^{\langle m\rangle})$ 的样本复杂度，与最优率仅相差对数因子。
• 当 $m > 1$ 时，SR算法在许多配置下表现甚至劣于均匀采样，表明多识别场景下的权衡与单识别场景本质不同。
• 所提出的复杂度度量 $H^{\langle m\rangle}$ 推广了单臂情形的 $H_1$，并基于均值差距准确刻画了识别前 $m$ 个最优臂的难度。
• 数值实验表明，SAR始终优于均匀采样，且与需要 $H^{\langle m\rangle}$ 先验知识的Gap-E性能相当或略优。
• SAR框架实现了多赌博机最优臂识别的无参数算法，样本复杂度为 $\tilde{\mathcal{O}}(H^{[M]})$，解决了Gabillon等人（2011年）提出的开放问题。
• 理论分析证明，SAR通过分阶段采样确保最优臂与次优臂之间的经验均值差距充分分离，从而以高概率避免误识别。