[论文解读] On the Prior Sensitivity of Thompson Sampling

Che-Yu Liu, Lihong Li|arXiv (Cornell University)|Jun 10, 2015

Advanced Bandit Algorithms Research参考文献 25被引用 6

一句话总结

本文对随机多臂赌博机问题中 Thompson Sampling 对先验分布的敏感性提供了严格的理论分析。通过使用鞅理论和 Thompson Sampling 的新颖结构特性，本文分别建立了在先验质量差（$p$ 为真模型的先验概率）和好（$p$ 为真模型的先验概率）情况下的紧致 $O(\sqrt{T/p})$ 和 $O(\sqrt{(1-p)T})$ regret 边界。

ABSTRACT

The empirically successful Thompson Sampling algorithm for stochastic bandits has drawn much interest in understanding its theoretical properties. One important benefit of the algorithm is that it allows domain knowledge to be conveniently encoded as a prior distribution to balance exploration and exploitation more effectively. While it is generally believed that the algorithm's regret is low (high) when the prior is good (bad), little is known about the exact dependence. In this paper, we fully characterize the algorithm's worst-case dependence of regret on the choice of prior, focusing on a special yet representative case. These results also provide insights into the general sensitivity of the algorithm to the choice of priors. In particular, with $p$ being the prior probability mass of the true reward-generating model, we prove $O(\sqrt{T/p})$ and $O(\sqrt{(1-p)T})$ regret upper bounds for the bad- and good-prior cases, respectively, as well as \emph{matching} lower bounds. Our proofs rely on the discovery of a fundamental property of Thompson Sampling and make heavy use of martingale theory, both of which appear novel in the literature, to the best of our knowledge.

研究动机与目标

• 理解 Thompson Sampling 的 regret 对先验分布选择的理论依赖关系。
• 刻画当先验对真实模型的了解较差（$p$ 较低）或较好（$p$ 较高）时的最坏情况 regret。
• 建立 regret 的匹配上下界，以量化对先验质量的敏感性。
• 识别出使该分析成为可能的 Thompson Sampling 的基本结构特性，特别是通过鞅方法。

提出的方法

• 以两模型两动作的赌博机设置作为代表性案例，研究先验敏感性。
• 利用鞅理论推导后验集中度和动作选择概率的边界。
• 通过递归应用贝叶斯更新规则，基于观测到的奖励来建模对模型的后验分布。
• 通过比较不同先验权重下的期望 regret，推导出 regret 的递推不等式。
• 使用模型间的耦合论证，来界定在不同先验下 regret 的差异。
• 通过在不同先验权重 $p$ 的伯努利赌博机上进行的实验，验证理论发现。

实验结果

研究问题

• RQ1 Thompson Sampling 的 regret 如何随真实模型的先验概率 $p$ 变化？
• RQ2 当先验质量好（$p \approx 1$）或差（$p \approx 0$）时，regret 的紧致上下界是什么？
• RQ3 是否可以在代表性赌博机设置中完全刻画 regret 对先验质量的依赖关系？
• RQ4 Thompson Sampling 的哪些基本结构特性使其能够实现如此精确的 regret 分析？

主要发现

• 对于在真实模型上先验质量差（先验质量为 $p$）的情况，regret 的上界为 $O(\sqrt{T/p})$，且该边界是紧致的。
• 对于在真实模型上先验质量好（先验质量为 $p$）的情况，regret 的上界为 $O(\sqrt{(1-p)T})$，且该边界也是紧致的。
• 本文建立了匹配的下界，确认 regret 分别以 $\Theta(\sqrt{T/p})$ 和 $\Theta(\sqrt{(1-p)T})$ 的速率增长，分别对应于先验质量差和好的情况。
• 分析表明，regret 对先验质量极为敏感：当先验较弱时，regret 随 $\sqrt{1/p}$ 增长；当先验较强时，regret 随 $\sqrt{1-p}$ 增长。
• 实验结果验证了 regret 预期的 $\sqrt{1/p}$ 和 $\sqrt{1-p}$ 线性缩放关系，支持了理论边界的紧致性。
• 鞅理论的应用以及对 Thompson Sampling 行为的新型结构洞察，为该算法的更广泛分析提供了潜在可复用的工具。