[论文解读] Towards Instance Optimal Bounds for Best Arm Identification

Lijie Chen, Jian Li+1 more|arXiv (Cornell University)|Aug 22, 2016

Advanced Bandit Algorithms Research参考文献 21被引用 15

一句话总结

该论文通过提出一种新颖的算法，在最佳臂识别问题中显著推进了对间隙-熵猜想的解决，实现了近乎实例最优的样本复杂度（仅相差对数因子）。它证明了高斯分布情形下的紧致下界，表明实例相关复杂度被 $ H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I)) $ 紧密刻画，几乎完全解决了最佳-1-臂问题中最优样本复杂度这一长期悬而未决的开放问题。

ABSTRACT

In the classical best arm identification (Best-$1$-Arm) problem, we are given $n$ stochastic bandit arms, each associated with a reward distribution with an unknown mean. We would like to identify the arm with the largest mean with probability at least $1-δ$, using as few samples as possible. Understanding the sample complexity of Best-$1$-Arm has attracted significant attention since the last decade. However, the exact sample complexity of the problem is still unknown. Recently, Chen and Li made the gap-entropy conjecture concerning the instance sample complexity of Best-$1$-Arm. Given an instance $I$, let $μ_{[i]}$ be the $i$th largest mean and $Δ_{[i]}=μ_{[1]}-μ_{[i]}$ be the corresponding gap. $H(I)=\sum_{i=2}^nΔ_{[i]}^{-2}$ is the complexity of the instance. The gap-entropy conjecture states that $Ω\left(H(I)\cdot\left(\lnδ^{-1}+\mathsf{Ent}(I) ight) ight)$ is an instance lower bound, where $\mathsf{Ent}(I)$ is an entropy-like term determined by the gaps, and there is a $δ$-correct algorithm for Best-$1$-Arm with sample complexity $O\left(H(I)\cdot\left(\lnδ^{-1}+\mathsf{Ent}(I) ight)+Δ_{[2]}^{-2}\ln\lnΔ_{[2]}^{-1} ight)$. If the conjecture is true, we would have a complete understanding of the instance-wise sample complexity of Best-$1$-Arm. We make significant progress towards the resolution of the gap-entropy conjecture. For the upper bound, we provide a highly nontrivial algorithm which requires \[O\left(H(I)\cdot\left(\lnδ^{-1} +\mathsf{Ent}(I) ight)+Δ_{[2]}^{-2}\ln\lnΔ_{[2]}^{-1}\mathrm{polylog}(n,δ^{-1}) ight)\] samples in expectation. For the lower bound, we show that for any Gaussian Best-$1$-Arm instance with gaps of the form $2^{-k}$, any $δ$-correct monotone algorithm requires $Ω\left(H(I)\cdot\left(\lnδ^{-1} + \mathsf{Ent}(I) ight) ight)$ samples in expectation.

研究动机与目标

• 为解决间隙-熵猜想，该猜想认为最佳-1-臂问题的最优样本复杂度为 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $，并实现匹配的上界。
• 设计一种新算法，实现最佳臂识别的实例最优样本复杂度，使所有问题实例下的期望样本数最小化。
• 为高斯分布下的单调算法建立近乎紧致的下界，确认复杂度中熵项的必要性。
• 理解间隙结构与类似熵项 $ \mathsf{Ent}(I) $ 在决定多臂赌博机纯探索基本极限中的作用。

提出的方法

• 提出一种新型自适应采样算法，根据估计的间隙和置信区间动态调整采样策略，结合了消除法与分数测试策略。
• 引入一种新颖的分析框架，通过递归轮次与阈值处理控制误差传播，确保 $ \delta $-正确性。
• 基于间隙大小将臂递归划分为若干组，为每组分配独立的采样预算，以平衡探索与置信度。
• 通过单调性假设简化下界分析，聚焦于通过移除次优臂获得的子实例。
• 在各轮次中应用集中不等式与联合界控制失败概率，对对数项与多对数项进行细致处理。
• 通过将问题约化为一系列具有指数衰减间隙的子实例，建立下界，表明 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 个样本是必需的。

实验结果

研究问题

• RQ1 间隙-熵猜想是否成立，即最优样本复杂度是否按 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 的形式增长？
• RQ2 是否存在一种单一算法，可在所有赌博机实例中实现近乎实例最优的性能（仅相差对数因子）？
• RQ3 在高斯分布的最佳臂识别中，任意 $ \delta $-正确单调算法所需的最少样本数是多少？
• RQ4 间隙结构与类似熵项 $ \mathsf{Ent}(I) $ 如何影响纯探索的基本极限？

主要发现

• 所提算法实现了期望样本复杂度 $ O\left(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I)) + \Delta_{[2]}^{-2} \ln \ln \Delta_{[2]}^{-1} \cdot \mathrm{polylog}(n, \delta^{-1})\right) $。
• 对于具有 $ 2^{-k} $ 形式间隙的任意高斯最佳臂实例，任意 $ \delta $-正确单调算法在期望上至少需要 $ \Omega(H(I) \cdot (\ln \delta^{-1} + \mathsf{Ent}(I))) $ 个样本。
• 下界与猜想的实例最优形式仅相差常数因子，证实了复杂度中熵项的必要性。
• 上界与两臂情形下已知的复杂度 $ \Theta(\Delta_{[2]}^{-2} \ln \ln \Delta_{[2]}^{-1}) $ 一致，验证了算法在最小情形下的行为。
• 分析表明，间隙-熵猜想几乎已被解决，唯一剩余的差距在于上界中存在 $ \mathrm{polylog}(n, \delta^{-1}) $ 因子。