[论文解读] The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms

Mohsen Bayati, Nima Hamidi+2 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Bandit Algorithms Research被引用 6

一句话总结

该论文表明，当臂的数量 $k \geq \sqrt{T}$ 时，贪婪算法在多臂贝叶斯多臂老虎机问题中实现了速率最优的遗憾，尽管其在标准设置下已知存在次优性。关键洞见在于，臂奖励的重尾先验分布产生了一种新型的‘免费探索’机制，使贪婪算法无需显式探索即可快速识别出近似最优的臂，其性能甚至优于下采样的UCB和Thompson采样算法。

ABSTRACT

We investigate a Bayesian $k$-armed bandit problem in the \\emph{many-armed} regime, where $k \\geq \\sqrt{T}$ and $T$ represents the time horizon. Initially, and aligned with recent literature on many-armed bandit problems, we observe that subsampling plays a key role in designing optimal algorithms; the conventional UCB algorithm is sub-optimal, whereas a subsampled UCB (SS-UCB), which selects $\\Theta(\\sqrt{T})$ arms for execution under the UCB framework, achieves rate-optimality. However, despite SS-UCB's theoretical promise of optimal regret, it empirically underperforms compared to a greedy algorithm that consistently chooses the empirically best arm. This observation extends to contextual settings through simulations with real-world data. Our findings suggest a new form of \\emph{free exploration} beneficial to greedy algorithms in the many-armed context, fundamentally linked to a tail event concerning the prior distribution of arm rewards. This finding diverges from the notion of free exploration, which relates to covariate variation, as recently discussed in contextual bandit literature. Expanding upon these insights, we establish that the subsampled greedy approach not only achieves rate-optimality for Bernoulli bandits within the many-armed regime but also attains sublinear regret across broader distributions. Collectively, our research indicates that in the many-armed regime, practitioners might find greater value in adopting greedy algorithms.

研究动机与目标

• 分析当 $k \geq \sqrt{T}$ 时，贪婪算法在多臂老虎机设置中的性能。
• 阐明为何贪婪算法在高臂数场景下优于标准的探索-利用算法（如UCB和Thompson采样）。
• 形式化一种由臂奖励先验分布尾部行为引发的新型‘免费探索’机制。
• 证明在多臂场景下，下采样的贪婪算法对伯努利分布和一般奖励分布均能达到速率最优的遗憾。

提出的方法

• 提出一种下采样的贪婪算法（SS-Greedy），即均匀随机选择 $\Theta(\sqrt{T})$ 个臂，并在子集中应用贪婪选择。
• 采用贝叶斯框架，对臂的期望值进行独立同分布的先验抽样，重点关注先验分布的尾部行为。
• 在多臂场景下，建立贝叶斯遗憾的理论下界 $\Omega(\sqrt{T})$。
• 通过子高斯集中不等式，对次优臂的期望抽取次数进行上界估计，从而分析遗憾。
• 证明次优臂 $i$ 的期望抽取次数被限制在 $\min\left(1 + \frac{3}{C_1(1-2\delta - \mu_i)}, T(1-\mu_i)\right)$，并利用尾部概率衰减特性。
• 证明当 $k \geq \sqrt{T}$ 时，SS-Greedy的贝叶斯遗憾为 $\tilde{O}(\sqrt{T})$，而当 $k < \sqrt{T}$ 时为 $\tilde{O}(T/k)$，从而确立其速率最优性。

实验结果

研究问题

• RQ1 为何贪婪算法在多臂老虎机场景中优于UCB和Thompson采样，尽管其在标准设置下已知存在线性遗憾？
• RQ2 何种机制使贪婪算法在高臂数设置下实现最优遗憾？该机制与上下文老虎机中的免费探索有何不同？
• RQ3 先验分布的尾部行为如何促成这种新型免费探索机制？
• RQ4 在多臂场景下，下采样的贪婪算法对伯努利分布和一般奖励分布是否具有速率最优性？
• RQ5 能否通过子高斯集中不等式与先验尾部分析，推导出贪婪算法的理论遗憾界？

主要发现

• 当 $k \geq \sqrt{T}$ 时，贪婪算法实现了 $\tilde{O}(\sqrt{T})$ 的贝叶斯遗憾，与理论下界 $\Omega(\sqrt{T})$ 一致，证明了其速率最优性。
• 下采样UCB（SS-UCB）在选择 $m = \sqrt{T}$ 个臂时，遗憾为 $\tilde{O}(\sqrt{T})$，且为速率最优，但其数值表现劣于贪婪算法。
• 贪婪算法得益于一种新型的‘免费探索’机制，其源于大量近似最优臂的存在，而这一现象由臂奖励的重尾先验分布所引发。
• 这种免费探索机制与上下文老虎机中的机制本质不同：后者依赖协变量变化，而非先验尾部分布行为。
• 在模拟中，下采样贪婪算法（SS-Greedy）在 $m = T^{2/3}$ 个臂时，无论在合成数据还是真实世界数据上均表现出最佳的实验性能。
• 理论分析确认，贪婪算法的贝叶斯遗憾在 $k < \sqrt{T}$ 时为 $\tilde{O}(T/k)$，在 $k \geq \sqrt{T}$ 时为 $\tilde{O}(\sqrt{T})$，从而在两种情形下均被证明为最优。