[论文解读] Optimal Best Arm Identification with Fixed Confidence

Aurélien Garivier, Emilie Kaufmann|arXiv (Cornell University)|Feb 15, 2016

Advanced Bandit Algorithms Research参考文献 40被引用 101

一句话总结

该论文为单参数多臂赌博机中的最佳臂识别推导出一个紧致的非渐近下界，并引入 Track-and-Stop 策略，在固定置信设置下被证明是渐近最优。

ABSTRACT

We give a complete characterization of the complexity of best-arm identification in one-parameter bandit problems. We prove a new, tight lower bound on the sample complexity. We propose the `Track-and-Stop' strategy, which we prove to be asymptotically optimal. It consists in a new sampling rule (which tracks the optimal proportions of arm draws highlighted by the lower bound) and in a stopping rule named after Chernoff, for which we give a new analysis.

研究动机与目标

• 表征单参数指数族中 delta-PAC 最佳臂识别所需的精确样本复杂度。
• 给出对期望样本数的紧致非渐近下界。
• 提出一种学习策略（Track-and-Stop），在渐近意义上达到该下界。
• 分析能保证 delta-PAC 保证的停止规则和采样方案。

提出的方法

• 通过一种基于运输的度量变换，推导出涉及问题特征时间 T*(mu) 的紧致下界。
• 通过在替代模型 Alt(mu) 上求解优化，定义最优臂采样比例 w*(mu)。
• 引入 Track-and-Stop 算法，其由跟踪最优比例的采样规则和带可调阈值的 Chernoff 型停止规则组成。
• 给出两种跟踪方案（C-Tracking 与 D-Tracking），它们通过强制探索来保证经验均值的收敛。
• 通过广义似然比统计量 Z_{a,b}(t) 分析停止规则，并显示阈值 beta(t, delta) 如何实现 delta-PAC 保证。
• 给出 MDL 解释并将停止行为与信息理论编码论证联系起来。

实验结果

研究问题

• RQ1 在指数族带带中，关于 delta-PAC 最佳臂识别的期望样本复杂度的正确问题相关下界是什么？
• RQ2 如何计算最优臂采样比例 w*(mu) 及相应的特征时间 T*(mu)？
• RQ3 一种实用策略（Track-and-Stop）是否能够在满足 delta-PAC 限制的同时在渐近意义上达到下界？
• RQ4 应如何设计停止和采样规则，以在广泛的带模型类中确保固定置信保证？
• RQ5 哪些解释（统计的、信息理论的、MDL）能阐明停止规则？

主要发现

• 建立了一个紧致的非渐近下界 E_mu[tau_delta]，涉及一个问题相关的特征时间 T*(mu)。
• 给出最优采样比例 w*(mu) 的显式特征化，便于基于跟踪的策略达到下界。
• 提出并证明 Track-and-Stop 策略在 delta -> 0 下对 delta-PAC 保证是渐近最优的。
• 两种实用的跟踪方案（C-Tracking 与 D-Tracking）被证明能保证经验均值收敛到最优比例并满足 delta-PAC。
• 带有 MDL/信息理论解释的 Chernoff 型停止规则给出一个停止时间，其期望达到下界，误差为 log(1/delta) 因子级别。