[论文解读] On Thompson Sampling with Langevin Algorithms

Eric Mazumdar, Aldo Pacchiano+3 more|arXiv (Cornell University)|Feb 23, 2020

Advanced Bandit Algorithms Research参考文献 34被引用 6

一句话总结

该论文提出了一种计算高效的多臂老虎机问题的Thompson采样变体，采用基于Langevin的马尔可夫链蒙特卡洛（MCMC）方法近似后验样本。通过利用后验集中性和样本复用，该方法在每轮计算成本恒定的情况下实现了对数 regret，确保了在不随时间跨度增长的条件下，实例相关频率学 regret 保持最优。

ABSTRACT

Thompson sampling for multi-armed bandit problems is known to enjoy favorable performance in both theory and practice. However, it suffers from a significant limitation computationally, arising from the need for samples from posterior distributions at every iteration. We propose two Markov Chain Monte Carlo (MCMC) methods tailored to Thompson sampling to address this issue. We construct quickly converging Langevin algorithms to generate approximate samples that have accuracy guarantees, and we leverage novel posterior concentration rates to analyze the regret of the resulting approximate Thompson sampling algorithm. Further, we specify the necessary hyperparameters for the MCMC procedure to guarantee optimal instance-dependent frequentist regret while having low computational complexity. In particular, our algorithms take advantage of both posterior concentration and a sample reuse mechanism to ensure that only a constant number of iterations and a constant amount of data is needed in each round. The resulting approximate Thompson sampling algorithm has logarithmic regret and its computational complexity does not scale with the time horizon of the algorithm.

研究动机与目标

• 为解决精确Thompson采样带来的计算瓶颈，其在每次迭代中需要昂贵的后验采样。
• 开发近似采样方法，在降低计算开销的同时保持最优 regret 保证。
• 确保即使使用近似后验样本，regret 仍保持对数形式且实例相关最优。
• 设计一种任意时间算法，使得计算复杂度不随时间跨度增长。
• 提供Langevin算法的显式超参数选择，以保证最优性能。

提出的方法

• 使用未修正Langevin算法（ULA），并利用前一轮近似样本作为初始化，以利用后验集中性。
• 在随机梯度Langevin动力学（SGLD）中采用恒定的迭代次数和恒定的批量大小，以确保低计算成本。
• 利用新颖的后验集中率来界定近似误差并维持 regret 保证。
• 引入样本复用机制，将每轮所需的MCMC迭代次数减少至常数。
• 推导出ULA和SGLD的显式超参数（步长、迭代步数），以实现最优 regret。
• 在一般对数凹似然和弱信息先验下分析 regret，明确其对维度、方差和先验质量的依赖关系。

实验结果

研究问题

• RQ1 能否使用基于Langevin的MCMC方法在Thompson采样中近似后验样本，同时保持最优 regret？
• RQ2 ULA 和 SGLD 所需的超参数和迭代次数是多少，才能维持对数 regret？
• RQ3 后验集中性如何使每轮的MCMC步数保持恒定？
• RQ4 能否使近似Thompson采样的计算成本与时间跨度无关？
• RQ5 后验采样中的近似误差与最终 regret 之间的关系是什么？

主要发现

• 所提出的近似Thompson采样算法实现了对数 regret，其显式常数依赖于维度、方差和先验质量。
• 通过适当的超参数调优，ULA 和 SGLD 仅需每轮恒定数量的MCMC步数，即可保持实例相关最优 regret。
• regret 边界以 $\mathcal{O}(\log T)$ 形式增长，显式依赖于 $d_a$、$\kappa_a$ 和 $\Delta_a$，与已知下界一致。
• 该算法的计算复杂度不随时间跨度 $T$ 增长，因此是一种任意时间算法。
• 数值实验表明，使用Langevin方法的近似Thompson采样在不同先验设置下，性能与精确Thompson采样和UCB相当。
• 即使在对抗性先验下，该方法仍表现出强鲁棒性和良好的经验稳定性。