[论文解读] Restless Bandits in Action: Resource Allocation, Competition and Reservation

Jing Fu, Bill Moran+1 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种针对在全局容量约束下弱耦合异构非齐次多臂赌博机（RMABP）系统的渐近最优资源配置策略。通过将Whittle松弛法和Weber-Weiss渐近最优性理论扩展至每个RMABP中固定活跃老虎机数量（按总老虎机数量缩放）的情形，该文在这一新型缩放机制下证明了渐近最优性，为该类受约束RMABP系统提供了首个此类结果。

ABSTRACT

We study a resource allocation problem with different requests, and with resources of limited capacity shared by multiple requests. We model this problem as a set of heterogeneous Restless Multi-Armed Bandit Problems (RMABPs) connected by the constraints imposed by the resource capacity. Following the idea of Whittle relaxation, and the asymptotic optimality proof of Weber and Weiss, we propose a simple policy for our problem and prove its asymptotic optimality when the RMABPs are weakly coupled with each other. To the best of our knowledge, this is the first work providing asymptotic optimality results for such a resource allocation problem and such a combination of multiple RMABPs. In applying these, we consider the asymptotic optimality in the case of a fixed number of active restless Bandit Processes (BPs) for each RMABP, rather than a fixed ratio of the number of active BPs to the total number of BPs as considered by Weber and Weiss. In particular, we scale the transition rates of the active bandits in proportion to the total number of BPs.

研究动机与目标

• 解决在多个异构请求之间共享有限容量资源的系统中的资源配置问题。
• 将问题建模为一组受全局容量约束的弱耦合非齐次多臂赌博机（RMABP）。
• 将Whittle松弛框架扩展至具有固定活跃老虎机数量的受约束异构RMABP设置中。
• 在过渡速率随老虎机总数缩放的新缩放机制下，建立所提策略的渐近最优性。
• 为具有固定活跃老虎机数量的多个异构RMABP在容量约束下的系统提供首个渐近最优性结果。

提出的方法

• 将资源配置问题建模为一组具有共享容量约束的异构非齐次多臂赌博机（RMABP）。
• 应用Whittle松弛法，为每个在容量约束下的RMABP推导出可计算的基于索引的策略。
• 引入一种新型缩放机制，其中每个RMABP的活跃老虎机数量保持固定，而总老虎机数量增长，同时按比例缩放过渡速率。
• 使用渐近分析证明，在此缩放机制下，所提策略可实现渐近最优性。
• 将Weber和Weiss的理论框架扩展至活跃与总老虎机比例不固定，但每个RMABP的活跃老虎机绝对数量恒定的场景。
• 证明在所提缩放机制下，随着系统规模增大，策略性能收敛至最优解。

实验结果

研究问题

• RQ1 基于Whittle松弛法的策略是否能在具有全局容量约束的异构、弱耦合RMABP系统中实现渐近最优性？
• RQ2 在每个RMABP的活跃老虎机数量固定而非与总老虎机数成比例时，何种缩放机制可实现渐近最优性？
• RQ3 将活跃老虎机的过渡速率与总老虎机数缩放，如何影响策略的渐近性能？
• RQ4 Weber和Weiss的渐近最优性结果是否可推广至具有多个异构RMABP、容量约束及固定活跃老虎机数量的系统？
• RQ5 在每个RMABP的活跃老虎机数量固定的大规模系统中，所提策略的理论性能保证是什么？

主要发现

• 在总老虎机数量趋于无穷的极限下，所提策略在每个RMABP的活跃老虎机数量固定的新型缩放机制下实现了渐近最优性。
• 渐近最优性在过渡速率与总老虎机数成比例的缩放机制下得以建立，这与Weber和Weiss采用的标准比例缩放不同。
• 本工作首次为具有全局容量约束且每个过程活跃老虎机数量固定的多个异构RMABP系统提供了渐近最优性结果。
• 理论分析证实，Whittle松弛方法在此新渐近范式下依然有效且最优。
• 该框架将Whittle索引策略的适用范围扩展至具有固定活跃老虎机数量的更广泛一类受约束资源配置问题。
• 该框架支持在活跃请求数量受限但系统规模不断增长的大规模系统中实际部署。