[论文解读] The Finite-Horizon Two-Armed Bandit Problem with Binary Responses: A Multidisciplinary Survey of the History, State of the Art, and Myths

Peter Jacko|arXiv (Cornell University)|Jun 20, 2019

Advanced Bandit Algorithms Research参考文献 64被引用 9

一句话总结

本文使用马尔可夫决策过程框架、基于贝塔分布的贝叶斯更新以及 Julia 中的精确动态规划计算，统一并评估了具有二值响应的有限时域两臂木仓问题设计。结果表明，动态规划在远比人们普遍认为更大的时域范围内仍具可计算性，并驳斥了关于索引规则的六个误解，显示更简单的方案如 BLFF+BM 通常优于复杂的启发式方法。

ABSTRACT

In this paper we consider the two-armed bandit problem, which often naturally appears per se or as a subproblem in some multi-armed generalizations, and serves as a starting point for introducing additional problem features. The consideration of binary responses is motivated by its widespread applicability and by being one of the most studied settings. We focus on the undiscounted finite-horizon objective, which is the most relevant in many applications. We make an attempt to unify the terminology as this is different across disciplines that have considered this problem, and present a unified model cast in the Markov decision process framework, with subject responses modelled using the Bernoulli distribution, and the corresponding Beta distribution for Bayesian updating. We give an extensive account of the history and state of the art of approaches from several disciplines, including design of experiments, Bayesian decision theory, naive designs, reinforcement learning, biostatistics, and combination designs. We evaluate these designs, together with a few newly proposed, accurately computationally (using a newly written package in Julia programming language by the author) in order to compare their performance. We show that conclusions are different for moderate horizons (typical in practice) than for small horizons (typical in academic literature reporting computational results). We further list and clarify a number of myths about this problem, e.g., we show that, computationally, much larger problems can be designed to Bayes-optimality than what is commonly believed.

研究动机与目标

• 统一不同学科（实验设计、贝叶斯决策理论、生物统计学、强化学习）中的术语与建模方法，聚焦于具有二值响应的有限时域两臂木仓问题。
• 提出一种标准的马尔可夫决策过程模型，包含伯努利响应与共轭贝塔先验，以实现贝叶斯更新。
• 通过精确动态规划计算而非模拟，评估已知与新提出的方案的性能。
• 挑战并澄清关于索引规则、计算极限与有限时域木仓问题最优性等广泛存在的误解（谬误）。
• 证明动态规划在中等至大时域范围内计算上是可行的，与普遍信念相反。

提出的方法

• 在马尔可夫决策过程（MDP）框架内形式化两臂木仓问题，状态由成功概率的后验贝塔分布定义。
• 使用共轭先验（贝塔）与似然函数（伯努利），以实现每次受试者二值响应后的精确贝叶斯更新。
• 通过向后递归实现最优策略的精确计算，避免模拟偏差。
• 开发自定义 Julia 包，以精确计算有限时域下的贝叶斯最优策略。
• 在 12 种标准化场景（成功概率各异）下，评估 12 种设计（包括 Gittins、UCB、贪婪法与响应自适应规则）的性能。
• 通过平均遗憾（相对于最优策略的失败成功次数）比较各设计，以精确动态规划作为基准。

实验结果

研究问题

• RQ1 在有限时域内，不同设计策略（天真型、贝叶斯型、索引型与自适应型）在平均遗憾方面表现如何？
• RQ2 动态规划在具有二值响应的有限时域两臂木仓问题中，其计算可行性程度如何？
• RQ3 为何某些启发式方法（如 UCB 与 Gittins）在有限时域设置中表现次优，尽管其在无限时域情况下有理论保证？
• RQ4 关于动态规划与索引规则局限性的普遍信念是否准确，还是属于误解？
• RQ5 在实际有限时域场景中，更简单的方案（如 BLFF+BM）是否可能优于更复杂且理论依据充分的规则？

主要发现

• 动态规划在远比人们普遍认为更大的时域范围内仍具计算可行性——最优策略在 T=1200 时仍能被精确计算，挑战了不可行性的谬误。
• BLFF+BM 与 BLFF+BMSF 设计在多种场景中优于许多更复杂且广泛研究的启发式方法，包括基于 UCB 与 Gittins 的规则。
• 2UCB 与 1UCB 设计的平均遗憾比最优策略高出 5 至 10 倍，表明其在有限时域设置中并非近似最优。
• 将 UCB 系数调高至理论边界之外（例如 0.18）可使平均遗憾减半，但其性能仍显著次优。
• 频繁性平均遗憾并不一定随 T 增大而增加；在某些情况下，其随时域增加而减少或保持非增，与有限设置下 Lai-Robbins 的 log T 下界相矛盾。
• Gittins 索引规则在无折现的有限时域设置中可实现完全学习，与“其导致不完全学习”的谬误相反——此结论仅在折现情况下成立。