[论文解读] Towards Optimal and Efficient Best Arm Identification in Linear Bandits
该论文提出GLUCB，一种用于线性多臂赌博机中最佳臂识别的新型算法，通过最小化置信集之间的几何重叠来选择最具信息量的臂，从而推广LUCB算法。该算法在两臂和三臂问题中实现了最优样本复杂度，并通过避免每对臂的昂贵优化，实现了计算效率。
We give a new algorithm for best arm identification in linearly parameterised bandits in the fixed confidence setting. The algorithm generalises the well-known LUCB algorithm of Kalyanakrishnan et al. (2012) by playing an arm which minimises a suitable notion of geometric overlap of the statistical confidence set for the unknown parameter, and is fully adaptive and computationally efficient as compared to several state-of-the methods. We theoretically analyse the sample complexity of the algorithm for problems with two and three arms, showing optimality in many cases. Numerical results indicate favourable performance over other algorithms with which we compare.
研究动机与目标
- 填补在固定置信度设置下线性多臂赌博机中最佳臂识别在样本效率和计算效率方面的空白。
- 开发一种完全自适应、计算高效的算法，在理论和实证性能上均优于现有方法。
- 通过利用置信集中参数估计的几何结构，实现实例最优的样本复杂度。
- 克服先前方法的局限性，如LinGapE（计算开销大）和Y-ElimTil-p（仅在最坏情况下最优）。
提出的方法
- 通过基于几何的'最大重叠'原则，将LUCB算法推广至线性多臂赌博机，以选择最能减少最优臂不确定性的一组臂。
- 基于历史观测结果，构建随时间变化的未知参数向量θ的置信集，并设计臂的选择策略以最小化这些置信集之间的重叠。
- 采用基于置信区间的停止准则：当次优臂的置信上限低于最优臂的置信下限时停止。
- 引入一种数据依赖的臂选择规则，动态适应当前置信集的几何结构，避免预设的调度策略。
- 利用线性模型的结构，通过相关观测的回归式推断，推断未执行臂的奖励。
- 通过避免每轮O(K²)的优化问题（如LinGapE所采用的），转而使用臂选择的闭式表达式，确保计算效率。
实验结果
研究问题
- RQ1是否能够设计一种完全自适应、计算高效的算法，在线性最佳臂识别中实现实例最优的样本复杂度？
- RQ2置信集中的几何重叠如何指导线性多臂赌博机中最佳臂的选择？
- RQ3所提算法在两臂和三臂线性多臂赌博机问题中的理论样本复杂度是多少？
- RQ4在样本效率和计算成本方面，该算法与最先进方法相比表现如何？
- RQ5在特定结构化设置下（如臂位于低维子空间中），能否证明该算法是最优的？
主要发现
- 在固定置信度设置下，GLUCB在两臂和三臂线性多臂赌博机问题中实现了最优样本复杂度，并对停止时间提供了理论保证。
- 当臂之间的夹角ω较小时，样本复杂度呈O(Δ⁻²_min / sin²(ω))的尺度，表现出实例特定的最优性。
- 该算法的停止时间受O(β²_t / Δ²_min) × sin²(ω)的界约束，其中β_t控制置信集宽度，显示出对间隙Δ_min的紧密依赖。
- 在稳态行为中，GLUCB根据采样次数n₁和n₂之间的动态平衡在臂1和臂3之间交替，确保收敛。
- 数值结果表明，GLUCB在样本效率和计算速度方面均优于LinGapE及其他基线方法，尤其在高维设置下表现更优。
- 该算法通过使用几何准则避免了LinGapE的O(K²)优化开销，使其在大规模K下仍具可扩展性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。