[论文解读] Simulation Based Algorithms for Markov Decision Processes and Multi-Action Restless Bandits

Rahul Meshram, Kesav Kaza|arXiv (Cornell University)|Jul 25, 2020

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出基于仿真的蒙特卡洛滚动策略，用于求解高维马尔可夫决策过程（MDPs）和多动作非齐次伯努利 bandit（RMABs），尤其在传统值迭代/策略迭代因状态空间过大而失效时。提出一种双时标随机逼近方案，证明了可索引RMABs中近似索引计算的收敛性，并将滚动策略扩展至不可索引及多动作RMABs，展示了在预算约束和复杂动态下的可行性。

ABSTRACT

We consider multi-dimensional Markov decision processes and formulate a long term discounted reward optimization problem. Two simulation based algorithms---Monte Carlo rollout policy and parallel rollout policy are studied, and various properties for these policies are discussed. We next consider a restless multi-armed bandit (RMAB) with multi-dimensional state space and multi-actions bandit model. A standard RMAB consists of two actions for each arms whereas in multi-actions RMAB, there are more that two actions for each arms. A popular approach for RMAB is Whittle index based heuristic policy. Indexability is an important requirement to use index based policy. Based on this, an RMAB is classified into indexable or non-indexable bandits. Our interest is in the study of Monte-Carlo rollout policy for both indexable and non-indexable restless bandits. We first analyze a standard indexable RMAB (two-action model) and discuss an index based policy approach. We present approximate index computation algorithm using Monte-Carlo rollout policy. This algorithm's convergence is shown using two-timescale stochastic approximation scheme. Later, we analyze multi-actions indexable RMAB, and discuss the index based policy approach. We also study non-indexable RMAB for both standard and multi-actions bandits using Monte-Carlo rollout policy.

研究动机与目标

• 解决在状态空间较大或连续的高维MDPs中，值迭代与策略迭代因计算不可行而面临的问题。
• 开发基于仿真的算法——特别是蒙特卡洛滚动策略——用于求解弱耦合MDPs与非齐次伯努利bandit问题。
• 将基于滚动策略的方法扩展至多动作RMABs，其中由于缺乏可索引性，传统基于索引的策略不适用。
• 通过双时标随机逼近方案，为可索引多动作RMABs中的近似索引计算提供理论收敛保证。
• 展示在不可索引RMABs中滚动策略的实际可行性，其中无法建立可索引性。

提出的方法

• 使用蒙特卡洛滚动策略通过基策略的轨迹采样近似值函数，替代精确动态规划。
• 在预算约束下实现贪婪策略进行动作选择，定义为集合 $\overline{A} = \{\mathbf{a} \in \mathcal{A} : \sum_{i=1}^N a_i \leq K\}$，其中 $a_i$ 表示第 $i$ 个臂的活跃度。
• 使用 $\widetilde{Q}_{\pi,T}(\mathbf{x},\mathbf{a}) = \sum_{i=1}^N r_i(\mathbf{x}_i, a_i) + \beta \left[ \frac{1}{L} \sum_{l=1}^L \overline{Q}_{\pi,T}^l(\mathbf{x},\mathbf{a}) \right]$ 估计状态-动作值，其中 $L$ 条采样轨迹的折扣奖励。
• 应用双时标随机逼近方案，确保可索引RMABs中近似索引计算的收敛性。
• 通过直接模拟轨迹并在不可索引的可行动作集上进行优化，将滚动策略扩展至不可索引的多动作RMABs，无需依赖可索引性。
• 使用基于贪婪的滚动策略，根据采样状态转移下的最大期望未来奖励选择动作，同时在预算约束下保持可行性。

实验结果

研究问题

• RQ1 蒙特卡洛滚动策略能否为具有大或连续状态空间的高维MDPs提供一种可扩展的替代方案，以替代值迭代与策略迭代？
• RQ2 滚动策略如何适应多动作非齐次伯努利bandits，其中传统Whittle索引策略因不可索引性而失效？
• RQ3 基于仿真方法，在可索引多动作RMABs中，近似索引计算可建立何种理论保证？
• RQ4 在不可索引RMABs中，滚动策略的性能如何，其中无法假设可索引性？
• RQ5 在预算约束下，将滚动策略应用于多维、多动作RMABs时，其计算与收敛性权衡如何？

主要发现

• 所提出的蒙特卡洛滚动策略为高维MDPs提供了一种可行且可扩展的替代方案，其中状态空间规模使值迭代或策略迭代在计算上不可行。
• 对于可索引RMABs，本文通过双时标随机逼近方案证明了近似索引计算算法的收敛性，确保Whittle索引的可靠估计。
• 滚动策略框架成功扩展至不可索引RMABs，包括多动作变体，其中由于缺乏阈值结构，基于索引的启发式方法不适用。
• 该方法通过在可行动作集 $\overline{A}$ 上使用贪婪策略，确保在预算约束下计算可行性，保证每个时间步仅激活 $K$ 个臂。
• 基于仿真的方法在有限计算预算下实现了对最优值函数的良好近似，使其适用于无线网络与物联网中的实时应用。
• 该框架可扩展至约束MDPs、隐马尔可夫模型及重要性采样变体，表明其在当前研究范围之外也具有广泛适用性。