[论文解读] Parallelizing Thompson Sampling

Amin Karbasi, Vahab Mirrokni+1 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Bandit Algorithms Research参考文献 44被引用 5

一句话总结

本文提出了一种批量Thompson Sampling框架，在随机多臂Bandit和线性上下文Bandit问题中实现了渐近最优的遗憾，通过动态批量机制将顺序交互次数从T减少到O(log T)。通过基于离线遗憾估计自适应确定批量持续时间，该方法仅使用O(N log T)个批量即可保持近似最优性能，在实验中显著优于静态批量策略。

ABSTRACT

How can we make use of information parallelism in online decision making problems while efficiently balancing the exploration-exploitation trade-off? In this paper, we introduce a batch Thompson Sampling framework for two canonical online decision making problems, namely, stochastic multi-arm bandit and linear contextual bandit with finitely many arms. Over a time horizon $T$, our extit{batch} Thompson Sampling policy achieves the same (asymptotic) regret bound of a fully sequential one while carrying out only $O(\log T)$ batch queries. To achieve this exponential reduction, i.e., reducing the number of interactions from $T$ to $O(\log T)$, our batch policy dynamically determines the duration of each batch in order to balance the exploration-exploitation trade-off. We also demonstrate experimentally that dynamic batch allocation dramatically outperforms natural baselines such as static batch allocations.

研究动机与目标

• 为解决在并行信息访问条件下在线决策中探索与利用的平衡挑战。
• 在保持随机Bandit问题中渐近遗憾最优性的同时，将顺序交互次数从T减少到O(log T)。
• 开发一种动态批量机制，自适应地设定批量持续时间以平衡探索与利用。
• 通过实证结果证明，动态批量分配在遗憾性能上优于静态批量基线。
• 将该框架扩展至多臂和线性上下文Bandit设置，并提供理论遗憾保证。

提出的方法

• 为具有N个臂的随机多臂Bandit问题提出批量Thompson Sampling（B-TS），实现O(N log T)个批量和问题相关的最优遗憾。
• 为实现极小化遗憾最优性，提出批量极小化最大遗憾最优Thompson Sampling（B-MOTS），使用高斯先验以获得更优界，实现O(N log T)个批量。
• 为具有d维特征的线性Bandit问题开发上下文Bandit的批量Thompson Sampling（B-TS-C），在O(N log T)个批量下实现Õ(d^{3/2}√T)的遗憾。
• 采用动态批量机制，通过离线遗憾估计来确定每个批量的持续时间，以最小化遗憾同时降低交互频率。
• 使用超鞅框架与滤波F_{B(t)}来界定遗憾，结合事件指示变量和集中不等式。
• 应用Azuma-Hoeffding不等式和基于特征值的界（通过Chu等人[2011]）来控制采样方差之和，确保高概率下的遗憾界。

实验结果

研究问题

• RQ1 Thompson Sampling能否被并行化以减少顺序交互次数，同时保持渐近遗憾最优性？
• RQ2 在批量Bandit设置中，如何自适应调整批量大小和批量频率以平衡探索与利用？
• RQ3 在随机Bandit问题中，实现近似最优遗憾所需的最少批量数是多少？
• RQ4 动态批量分配在遗憾性能上是否优于静态批量策略？
• RQ5 在多臂和上下文Bandit设置下，Thompson Sampling的理论遗憾界在批量并行执行中是否仍能保持？

主要发现

• 所提出的批量Thompson Sampling框架实现了与完全顺序Thompson Sampling相同的渐近遗憾界，但仅使用O(log T)个批量而非T个。
• 对于随机多臂Bandit问题，B-TS在使用Beta先验时实现问题相关遗憾O(log T)，问题无关遗憾O(√(NT log T))，使用高斯先验时可改进为O(√(NT log N))。
• B-MOTS在O(N log T)个批量下实现极小化最大遗憾最优界O(√(NT))，且B-MOTS-J在高斯奖励下同时实现极小化最大和渐近最优性。
• 对于线性上下文Bandit问题，B-TS-C在O(N log T)个批量下实现Õ(d^{3/2}√T)的遗憾，与顺序设置下的最先进性能一致。
• 实验结果表明，与相同批量数的静态批量策略相比，动态批量分配显著降低了遗憾。
• 基于离线遗憾估计的动态批量机制，实现了交互次数的指数级减少——从T减少到O(log T)，而未牺牲遗憾性能。