[论文解读] Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|Jul 14, 2010

Advanced Bandit Algorithms Research参考文献 8被引用 10

一句话总结

本文提出了一种基于样本均值的索引策略，用于具有马尔可夫奖励的多臂赌博机问题，其中仅在选择臂时状态才会演化。证明了当探索常数足够大时，该策略在时间上实现一致的对数 regret，表明即使在没有转移概率先验知识的情况下，此类索引策略也具有阶最优性。

ABSTRACT

We consider the classical multi-armed bandit problem with Markovian rewards. When played an arm changes its state in a Markovian fashion while it remains frozen when not played. The player receives a state-dependent reward each time it plays an arm. The number of states and the state transition probabilities of an arm are unknown to the player. The player's objective is to maximize its long-term total reward by learning the best arm over time. We show that under certain conditions on the state transition probabilities of the arms, a sample mean based index policy achieves logarithmic regret uniformly over the total number of trials. The result shows that sample mean based index policies can be applied to learning problems under the rested Markovian bandit model without loss of optimality in the order. Moreover, comparision between Anantharam's index policy and UCB shows that by choosing a small exploration parameter UCB can have a smaller regret than Anantharam's index policy.

研究动机与目标

• 为解决在奖励分布未知且依赖于隐藏状态转移的多臂赌博机中学习最优臂选择的挑战。
• 分析在仅当臂被选择时状态才会变化的休息型马尔可夫赌博机设置下，基于样本均值的索引策略的性能。
• 建立此类策略在时间上实现一致对数 regret 的条件，而非仅渐近成立。
• 比较 UCB 与 Anantharam 的索引策略的实际性能，尽管后者在已知参数下具有理论最优性。
• 研究在实践中是否可以放宽对探索常数的充分条件，特别是针对两状态马尔可夫链。

提出的方法

• 作者分析了一种基于样本均值的索引策略，该策略根据经验均值奖励选择臂，并增加一个与播放次数倒数成比例的探索项。
• 推导出依赖于各臂转移矩阵特征值间隙的 regret 上界，表明当探索常数足够大时，可确保对数 regret。
• 分析依赖于集中不等式，并使用 Gillman 不等式来控制混合时间并限制对稳态行为的偏离。
• 该方法适用于不可约、非周期、有限状态的马尔可夫链，且转移概率未知，奖励与状态相关。
• 针对具有不同转移参数的两状态马尔可夫链进行了数值模拟，以评估在不同探索水平下的性能。
• 与 Anantharam 索引策略的比较使用了一个参数化转移矩阵族，其中 $ p_{01}\left(\theta\right) = \left(\theta/10\right)^3 $，$ p_{10}\left(\theta\right) = 1 - \left(\theta/10\right)^2 $，且 $ \theta \in [0,10] $。

实验结果

研究问题

• RQ1 基于样本均值的索引策略是否能在未知转移动态的休息型马尔可夫赌博机问题中实现一致的对数 regret？
• RQ2 为确保对数 regret，此类策略所需的最小探索常数是多少？其与转移矩阵特征值间隙的关系如何？
• RQ3 尽管 Anantharam 的索引策略在已知参数下具有理论最优性，UCB 策略在实际中是否表现更优？
• RQ4 与模拟中观察到的实际性能相比，UCB 的理论 regret 上界有多紧？
• RQ5 在实践中是否可以放宽对探索常数的充分条件，特别是针对两状态马尔可夫链？

主要发现

• 当探索常数 $ L $ 满足 $ L > 90S_{\text{max}}^2 r_{\text{max}}^2 / \epsilon_{\text{min}} $ 时，基于样本均值的索引策略可实现一致的对数 regret，其中 $ \epsilon_{\text{min}} $ 为最小特征值间隙。
• 对于两状态马尔可夫链，即使 $ L = 2 $，UCB 策略仍可实现对数 regret，违反了理论上的充分条件，表明该上界可能不够紧。
• 在 $ L = 0.05 $ 的模拟中，UCB 策略在给定时间范围内表现出比 Anantharam 索引策略更低的 regret，尽管后者具有理论下界。
• 当 $ L = 2000 $ 时，UCB 的 regret 上界为 $ 45150\ln n + 62.8 $，而任何一致优良策略的理论下界为 $ 4.406\ln n $，表明理论与实际之间存在显著差距。
• 数值结果表明，UCB 的 regret 随时间渐近趋近于理论下界，表明其在实践中接近最优。
• 随着 $ L $ 增大，UCB 与 Anantharam 策略之间的性能差距缩小，且 UCB 在极限下趋近于理论下界。