[论文解读] Sequential Monte Carlo Bandits

Michael Cherkassky, Luke Bornn|arXiv (Cornell University)|Oct 4, 2013

Advanced Bandit Algorithms Research参考文献 25被引用 7

一句话总结

本文提出了一种基于顺序蒙特卡罗（SMC）的贝叶斯框架，用于多臂赌博机问题，通过分层建模处理上下文相关、活跃变化和动态奖励设置。通过结合SMC推理与灵活的先验结构，该方法实现了可扩展的自适应决策，并在真实在线广告数据上实现了点击率10%的提升，优于当前最先进的赌博机算法。

ABSTRACT

In this paper we propose a flexible and efficient framework for handling multi-armed bandits, combining sequential Monte Carlo algorithms with hierarchical Bayesian modeling techniques. The framework naturally encompasses restless bandits, contextual bandits, and other bandit variants under a single inferential model. Despite the model's generality, we propose efficient Monte Carlo algorithms to make inference scalable, based on recent developments in sequential Monte Carlo methods. Through two simulation studies, the framework is shown to outperform other empirical methods, while also naturally scaling to more complex problems for which existing approaches can not cope. Additionally, we successfully apply our framework to online video-based advertising recommendation, and show its increased efficacy as compared to current state of the art bandit algorithms.

研究动机与目标

• 解决传统赌博机算法在处理非平稳、上下文相关及复杂奖励结构方面的局限性。
• 开发一种统一的推断模型，自然地容纳上下文赌博机、活跃赌博机和动态奖励分布。
• 通过顺序蒙特卡罗方法实现在高维、分层贝叶斯赌博机模型中的可扩展且高效的推理。
• 在真实世界数据上展示该框架的鲁棒性和适应性，特别是在奖励动态非平稳的在线广告场景中。
• 提供一个灵活且可扩展的赌博机问题平台，支持软/硬约束、分层先验以及动态的臂的增删。

提出的方法

• 在分层贝叶斯框架内构建赌博机问题，将各臂的奖励概率建模为协变量和潜在参数的函数。
• 使用顺序蒙特卡罗（SMC）算法进行时间上的在线后验推断，通过粒子近似更新后验分布。
• 通过允许后验分布通过重采样和传播步骤随新观测自适应演化，实现对时变奖励动态的建模。
• 通过分层建模整合先验信息，实现在各臂和协变量组之间的部分池化，从而在数据稀疏条件下提升估计精度。
• 在SMC中应用重模拟和重生成技术，以维持粒子多样性，防止在非平稳环境中出现退化。
• 使用基于SMC近似后验的汤普森采样来选择臂，依据其为最优臂的估计概率，确保探索与利用的平衡。

实验结果

研究问题

• RQ1 统一的贝叶斯框架是否能有效建模具有时变奖励分布的上下文赌博机和活跃赌博机问题？
• RQ2 SMC推理方法在动态环境中的性能与ε-贪婪、UCB-1和静态SMC等标准赌博机算法相比如何？
• RQ3 在具有协变量和有限数据的赌博机问题中，分层建模在估计精度和适应性方面能提升到何种程度？
• RQ4 SMC框架是否能高效扩展至复杂、高维的赌博机问题，而传统MCMC或参数化方法会失效？
• RQ5 在具有非平稳点击率的在线广告等真实应用场景中，动态SMC方法是否能保持鲁棒性和适应性？

主要发现

• 动态SMC赌博机在平均点击率上相比随机基线提升了10%，p值<0.01，表明具有统计显著性。
• 动态SMC方法在平均奖励和迭代间的一致性方面均优于所有其他测试算法，包括ε-贪婪（ε=0.1）、UCB-1和静态SMC。
• 对广告数据集的实证分析证实了非平稳的奖励动态，点击率随时间发生改变，验证了动态建模的必要性。
• SMC估计的臂选择概率紧密跟踪了实际点击率，展示了该方法在实时决策中的准确性和适应性。
• 静态SMC方法表现欠佳，因其无法适应变化的奖励分布，凸显了在非平稳环境中动态推理的必要性。
• 动态SMC框架的成功归因于其维持粒子多样性并自适应重采样的能力，防止退化，从而实现对时变奖励的稳健追踪。