[论文解读] On Explore-Then-Commit Strategies

Aurélien Garivier, Emilie Kaufmann+1 more|arXiv (Cornell University)|May 29, 2016

Advanced Bandit Algorithms Research被引用 59

一句话总结

本文证明，在两臂高斯老虎机问题中，探索-然后-承诺（ETC）策略在本质上是次优的，其渐近遗憾是完全顺序策略（如UCB）的两倍。研究发现，当差距Δ已知时，ETC策略的遗憾约为~4log(T)/Δ；当Δ未知时，遗憾约为~4log(T)/Δ；而完全顺序策略（如UCB）可实现最优的~2log(T)/Δ，从而证明ETC策略因严格的阶段分离而存在根本性局限。

ABSTRACT

We study the problem of minimising regret in two-armed bandit problems with Gaussian rewards. Our objective is to use this simple setting to illustrate that strategies based on an exploration phase (up to a stopping time) followed by exploitation are necessarily suboptimal. The results hold regardless of whether or not the difference in means between the two arms is known. Besides the main message, we also refine existing deviation inequalities, which allow us to design fully sequential strategies with finite-time regret guarantees that are (a) asymptotically optimal as the horizon grows and (b) order-optimal in the minimax sense. Furthermore we provide empirical evidence that the theory also holds in practice and discuss extensions to non-gaussian and multiple-armed case.

研究动机与目标

• 挑战在序列决策中广泛使用的探索-然后-承诺策略，尤其是在A/B测试和在线优化中的应用。
• 正式证明在具有高斯奖励的两臂老虎机问题中，基于阶段的策略（先探索后利用）本质上是次优的。
• 在已知和未知差距两种情形下，为ETC策略建立紧致的渐近遗憾边界。
• 表明能够动态混合探索与利用的完全顺序策略可实现最优的遗憾率。
• 改进偏差不等式，以支持设计具有有限时间遗憾保证且渐近最优的策略。

提出的方法

• 分析具有独立同分布高斯奖励的两臂老虎机问题，并将遗憾定义为最优累积奖励与期望累积奖励之间的差值。
• 比较固定预算ETC（每种臂各探索n次）与使用序列概率比检验（SPRT）选择停止时间的顺序ETC。
• 提出一种受UCB启发的完全顺序策略，通过置信区间动态平衡探索与利用。
• 利用改进的集中不等式和积分界，推导出有限时间遗憾保证与渐近率。
• 采用Wald的序贯分析框架，证明ETC策略的遗憾下限，表明其无法超越所推导的速率。
• 在ETC设置中，对未知差距情形应用改进的固定预算最优臂识别算法。

实验结果

研究问题

• RQ1 在具有高斯奖励的两臂老虎机问题中，探索-然后-承诺策略是否是最小化遗憾的最优策略？
• RQ2 ETC策略能否实现与完全顺序策略（如UCB）相当的遗憾率？
• RQ3 当两臂均值差距Δ已知或未知时，ETC策略的遗憾是否存在根本性限制？
• RQ4 改进的偏差不等式如何提升具有有限时间遗憾保证的序贯策略的设计？
• RQ5 完全顺序策略的优越性是否在实践中成立？该结论能否推广至非高斯分布和多臂设置？

主要发现

• 无论差距Δ是否已知，探索-然后-承诺策略的渐近遗憾始终约为最优完全顺序策略的两倍。
• 当Δ已知时，基于SPRT的最优ETC策略实现遗憾~log(T)/Δ，这是ETC类别内的最优结果，但仍为UCB类完全顺序策略所实现最优速率~2log(T)/Δ的两倍。
• 当Δ未知时，基于改进最优臂识别算法的ETC策略实现遗憾~4log(T)/Δ，再次为最优速率~2log(T)/Δ的两倍。
• 本文证明了一个下界，表明在Δ已知时，任何ETC策略的遗憾均无法优于~log(T)/Δ，从而确认基于SPRT的ETC策略在该类别中为最优。
• 受UCB启发的完全顺序策略实现遗憾~2log(T)/Δ，与信息论下限完全匹配，证明其为渐近最优。
• 实证结果支持理论发现，表明在实际场景中，完全顺序策略显著优于ETC策略。