[论文解读] Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors

Yichi Zhou, Jun Zhu+1 more|arXiv (Cornell University)|Aug 16, 2017

Advanced Bandit Algorithms Research参考文献 16被引用 4

一句话总结

本文提出 Racing Thompson 算法，通过使用 Gumbel-Max 技巧将非共轭先验下的 Thompson 采样重新表述为最优臂识别问题，从而实现高效计算。该方法通过从易于处理的提议分布中采样，避免了难以处理的后验推断，在非共轭先验和结构化先验设置下，其性能显著优于 SMC 和共轭先验基线方法。

ABSTRACT

Thompson sampling has impressive empirical performance for many multi-armed bandit problems. But current algorithms for Thompson sampling only work for the case of conjugate priors since these algorithms require to infer the posterior, which is often computationally intractable when the prior is not conjugate. In this paper, we propose a novel algorithm for Thompson sampling which only requires to draw samples from a tractable distribution, so our algorithm is efficient even when the prior is non-conjugate. To do this, we reformulate Thompson sampling as an optimization problem via the Gumbel-Max trick. After that we construct a set of random variables and our goal is to identify the one with highest mean. Finally, we solve it with techniques in best arm identification.

研究动机与目标

• 解决在非共轭先验下 Thompson 采样后验推断计算不可行的问题。
• 在共轭先验不可行或次优的复杂模型中，实现高效且可扩展的 Thompson 采样。
• 提供一种理论上有依据的方法，在避免完整后验计算的同时保持强大的经验性能。
• 开发一种实用算法，具备基于理论的停止规则和样本量确定机制，适用于非共轭设置。

提出的方法

• 使用 Gumbel-Max 技巧将 Thompson 采样重述为最优臂识别（BAI）问题，将从后验分布中采样转换为对具有 Gumbel 分布扰动的随机变量进行最大化。
• 构建一个易于处理的提议分布以供采样，从而替代非共轭先验下对精确后验推断的需求。
• 采用类似竞赛的算法，识别扰动变量中期望值最高的臂，利用 BAI 的理论保证。
• 基于次高斯浓度的停止规则，自适应地确定样本数量，确保理论性能边界。
• 将该方法集成到顺序决策框架中，从提议分布中抽取样本，并通过 Gumbel-max 准则选择动作。
• 通过假设 BAI 构造中涉及的随机变量满足次高斯性，确保理论有效性。

实验结果

研究问题

• RQ1 是否可以在不进行后验推断的情况下，高效实现非共轭先验设置下的 Thompson 采样？
• RQ2 如何利用 Gumbel-Max 技巧将 Thompson 采样重述为最优臂识别问题？
• RQ3 在具有理论保证的前提下，如何合理确定非共轭 Thompson 采样所需的样本数量？
• RQ4 在非共轭和结构化先验场景下，所提方法与 SMC 及共轭先验基线方法相比，性能如何？

主要发现

• 在伯努利 bandit 问题中，Racing Thompson 显著优于使用不当 Beta 先验的 Thompson 采样，尤其在时间步数增加时表现更优。
• 在早期时间步，该算法使用少量粒子时性能与 SMC 相当，但随着观测数量增加，其性能超越 SMC。
• 在截断正态先验的非共轭设置下，Racing Thompson 在累积遗憾方面优于 SMC 和共轭先验 Thompson 采样。
• 对于涉及依赖臂（如基于主题的相关性）的结构化先验，该方法保持了优异性能，优于 SMC 和共轭先验基线。
• 理论分析表明，在次高斯假设下，该方法的停止规则是有效的，提供了合理的样本量选择机制。