[论文解读] Thompson Sampling for Complex Bandit Problems

Aditya Gopalan, Shie Mannor+1 more|arXiv (Cornell University)|Nov 3, 2013

Advanced Bandit Algorithms Research参考文献 15被引用 11

一句话总结

本文提出了一种适用于复杂老虎机问题的通用后悔界，其中动作是基本臂的子集，奖励是非线性函数（例如，子集上的最大奖励）。通过将问题视为后验路径优化，该方法实现了考虑动作耦合的改进后悔标度，所得边界比解耦分析更紧，尤其在非线性反馈（如MAX奖励）情况下表现更优。

ABSTRACT

We consider stochastic multi-armed bandit problems with complex actions over a set of basic arms, where the decision maker plays a complex action rather than a basic arm in each round. The reward of the complex action is some function of the basic arms' rewards, and the feedback observed may not necessarily be the reward per-arm. For instance, when the complex actions are subsets of the arms, we may only observe the maximum reward over the chosen subset. Thus, feedback across complex actions may be coupled due to the nature of the reward function. We prove a frequentist regret bound for Thompson sampling in a very general setting involving parameter, action and observation spaces and a likelihood function over them. The bound holds for discretely-supported priors over the parameter space and without additional structural properties such as closed-form posteriors, conjugate prior structure or independence across arms. The regret bound scales logarithmically with time but, more importantly, with an improved constant that non-trivially captures the coupling across complex actions due to the structure of the rewards. As applications, we derive improved regret bounds for classes of complex bandit problems involving selecting subsets of arms, including the first nontrivial regret bounds for nonlinear MAX reward feedback from subsets.

研究动机与目标

• 为具有耦合动作和聚合反馈的复杂老虎机问题中的汤普森采样开发一个通用的后悔界。
• 处理仅能观测到聚合奖励（例如，最大值、总和）而无法观测单个臂奖励的场景。
• 消除对共轭先验、后验的闭式表达或各臂之间独立性的限制性假设。
• 推导出能捕捉由于奖励函数耦合而产生的复杂动作间结构依赖关系的更紧的后悔界。
• 为子集选择老虎机问题中的非线性MAX反馈提供首个非平凡的后悔界。

提出的方法

• 使用参数、动作和观测空间的形式化框架，结合其上的似然函数来定义复杂老虎机问题。
• 采用在基本臂参数上具有离散支撑的虚构先验的汤普森采样，并在每次观测后更新后验分布。
• 将后验演化建模为基于路径的优化问题，通过指数化KL散度来界定后悔。
• 利用N维超立方体上的精确组合估计来分析MAX反馈情形。
• 推导出随时间对数增长的后悔界，但因动作中的结构耦合而具有改进的常数。
• 利用粒子滤波和序列蒙特卡洛方法在复杂模型中实现后验的实用近似。

实验结果

研究问题

• RQ1 汤普森采样能否在具有非线性、耦合反馈的复杂老虎机问题中实现可证明的低后悔？
• RQ2 复杂动作之间的结构耦合如何影响汤普森采样后悔边界的标度？
• RQ3 在不损失后悔保证的前提下，能否有效使用非共轭、离散先验于汤普森采样中？
• RQ4 当反馈为非线性（如子集上的最大奖励）时，后悔界能获得多大程度的改进？
• RQ5 通过利用动作空间中的组合结构，能否进一步改进后悔界？

主要发现

• 汤普森采样的一般后悔界以O(log T)标度增长，且改进的常数捕捉了动作耦合的影响，即使在无共轭先验或闭式后验的情况下也成立。
• 对于具有子集动作的MAX反馈老虎机问题，与朴素解耦边界相比，后悔界降低了(N−M)/N的因子。
• 当L个次优动作可通过KL散度与最优模型区分开时，该边界实现了Ω(L/Δ log T)的加性减少。
• 在MAX反馈情形下，后悔标度为O( (N−1 choose M) log T / μ²_min )，显著优于朴素的O( (N choose M) log T / μ²_min )边界。
• 该改进不仅是理论上的——实证结果表明，实际中后悔的减少幅度可能远超理论估计。
• 该分析依赖于对超立方体顶点的精确组合估计，并提出了一种新颖的基于路径的后验集中分析方法。