[论文解读] Regret Bounds for Restless Markov Bandits

Ronald Ortner, Daniil Ryabko+2 more|arXiv (Cornell University)|Sep 12, 2012

Advanced Bandit Algorithms Research参考文献 1被引用 32

一句话总结

本文提出了一种针对随机游走马尔可夫猎枪问题的算法，其中臂的奖励通过独立、不可约的马尔可夫链演化。通过构建一个近似MDP并改进UCRL2算法，该方法在不假设已知转移分布或周期性的情况下，实现了相对于最优策略的$\tilde{O}(\sqrt{T})$遗憾界，并证明了在此设定下基于索引的策略本质上是次优的。

ABSTRACT

We consider the restless Markov bandit problem, in which the state of each arm evolves according to a Markov process independently of the learner's actions. We suggest an algorithm that after $T$ steps achieves $ ilde{O}(\sqrt{T})$ regret with respect to the best policy that knows the distributions of all arms. No assumptions on the Markov chains are made except that they are irreducible. In addition, we show that index-based policies are necessarily suboptimal for the considered problem.

研究动机与目标

• 解决随机游走马尔可夫猎枪问题，其中臂的状态演化由独立的马尔可夫链驱动，且与是否拉动臂无关。
• 在最小假设（仅要求不可约性）下，推导相对于最优策略而非最佳臂的有限时间遗憾界。
• 证明在此设定下，基于索引的策略本质上是次优的。
• 提供仅依赖于$T$（时间步数）、臂的数量、马尔可夫链的直径和混合时间的遗憾界。
• 将结果扩展至周期性马尔可夫链和未知状态空间，表明遗憾界缩放仅受轻微影响。

提出的方法

• 通过基于自上次观测以来的步数对状态进行聚合，构建底层POMDP的近似MDP表示。
• 将UCRL2算法改进用于在近似MDP中学习，使用对转移和奖励估计的置信区间。
• 采用一种采样方案，确保对所有状态和转移的充分探索，并基于马尔可夫链的混合特性推导探索时间的上界。
• 应用集中不等式控制转移和奖励概率的估计误差，确保高概率下的遗憾界。
• 通过考虑$m$步转移并按周期模的相位对状态进行聚合，处理周期性马尔可夫链。
• 通过添加周期性探索阶段以发现所有状态，将算法扩展至未知状态空间，额外步骤的代价被限制在$O(\log T)$以内。

实验结果

研究问题

• RQ1 是否可以在不假设奖励独立同分布的前提下，为随机游走马尔可夫猎枪问题实现$\tilde{O}(\sqrt{T})$量级的非渐近遗憾界？
• RQ2 是否可以在不事先知晓马尔可夫链参数（如转移矩阵或混合时间）的情况下实现此类遗憾界？
• RQ3 为何基于索引的策略在随机游走猎枪问题中本质上是次优的？这与休息猎枪或独立同分布猎枪情形有何不同？
• RQ4 遗憾界对马尔可夫链的结构属性（如直径和混合时间）有何依赖？
• RQ5 能否将该算法扩展至处理未知状态空间和周期性马尔可夫链，同时保持$\tilde{O}(\sqrt{T})$的遗憾界？

主要发现

• 所提出的算法在仅假设马尔可夫链不可约性的前提下，实现了相对于最优策略的$\tilde{O}(\sqrt{T})$遗憾界。
• 遗憾界依赖于臂的直径和混合时间，但当以$T$和臂的数量表示时，这些依赖可在最终界中被消除。
• 建立了$\Omega(\sqrt{ST})$的下界，表明$\tilde{O}(\sqrt{T})$对$T$的依赖无法被显著改进。
• 证明了基于索引的策略在随机游走猎枪问题中本质上是次优的，这与休息猎枪或独立同分布情形不同。
• 通过考虑$m$步转移和基于相位的聚合，该算法在周期性马尔可夫链下依然有效，遗憾界对状态数的依赖仅略有增加。
• 对于未知状态空间，发现所有状态带来的额外遗憾被限制在$O(\log T)$以内，从而保持了整体$\tilde{O}(\sqrt{T})$的遗憾缩放。