[论文解读] Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption

Yige Hong, Qiaomin Xie+2 more|arXiv (Cornell University)|May 31, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

本文提出了Follow-the-Virtual-Advice（FTVA）框架，这是一种基于仿真的方法，可在平均奖励准则下，将任意单臂策略转换为非齐次多臂 bandit 问题中的 N-臂策略。该方法在离散时间与连续时间设置下均实现了 $O(1/\sqrt{N})$ 的最优性差距，且无需依赖先前工作中关键的均匀全局吸引子性质（UGAP）假设，从而在连续时间情形下首次在更弱条件下实现了渐近最优性结果。

ABSTRACT

We study the infinite-horizon restless bandit problem with the average reward criterion, in both discrete-time and continuous-time settings. A fundamental goal is to efficiently compute policies that achieve a diminishing optimality gap as the number of arms, $N$, grows large. Existing results on asymptotic optimality all rely on the uniform global attractor property (UGAP), a complex and challenging-to-verify assumption. In this paper, we propose a general, simulation-based framework, Follow-the-Virtual-Advice, that converts any single-armed policy into a policy for the original $N$-armed problem. This is done by simulating the single-armed policy on each arm and carefully steering the real state towards the simulated state. Our framework can be instantiated to produce a policy with an $O(1/\sqrt{N})$ optimality gap. In the discrete-time setting, our result holds under a simpler synchronization assumption, which covers some problem instances that violate UGAP. More notably, in the continuous-time setting, we do not require \emph{any} additional assumptions beyond the standard unichain condition. In both settings, our work is the first asymptotic optimality result that does not require UGAP.

研究动机与目标

• 解决在无限时域非齐次 bandit 问题中，于平均奖励准则下，是否可在不依赖均匀全局吸引子性质（UGAP）的条件下实现渐近最优性的根本性开放问题。
• 在不依赖 UGAP 和非奇异假设的条件下，建立最优性差距的非平凡收敛速率。
• 开发一种通用、高效且可扩展的策略转换框架，将 N-臂问题简化为单臂策略设计。
• 将框架扩展至异质性臂，并证明其可实现线性于 N 的计算成本与分布式子程序。

提出的方法

• 提出 Follow-the-Virtual-Advice（FTVA）框架，该框架并行地在每条臂上模拟单臂策略，并通过引导真实系统状态趋近于模拟状态来最小化性能损失。
• 采用一种同步机制，通过同步时间 $\tau^{\text{sync}}_k(s,a,\widehat{s},\widehat{a})$ 将每条臂的虚拟过程与真实过程对齐，确保在同步假设（SA）下实现状态对齐。
• 应用 Little 定律，利用期望同步时间来界定平均不匹配时段长度，并使用柯西-施瓦茨不等式来界定不匹配臂的期望数量。
• 在离散时间下基于同步假设（SA）和连续时间下基于通路性条件，推导出最优性差距的上界为 $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$。
• 通过应用类型特定的最优单臂策略 $\bar{\pi}^*_k$ 并采用加权平均聚合结果，将框架扩展至异质性臂。
• 提出连续时间变体 FTVA-CT，其在仅依赖标准通路性条件的前提下，实现了与前述相同的 $O(1/\sqrt{N})$ 最优性差距，是首个在连续时间下无需 UGAP 假设的此类结果。

Figure 1 : An discrete-time RB problem that satisfies SA but not UGAP.

实验结果

研究问题

• RQ1 在非齐次 bandit 问题中，于平均奖励准则下，是否可在不依赖均匀全局吸引子性质（UGAP）的条件下实现渐近最优性？
• RQ2 当 UGAP 和非奇异条件被放宽时，是否可建立最优性差距的非平凡收敛速率？
• RQ3 是否可设计一种通用的、基于仿真的框架，将任意单臂策略转换为在较弱假设下渐近最优的 N-臂策略？
• RQ4 在缺乏 UGAP 的条件下，特别是在连续时间设置下，性能差距如何随臂的数量 $N$ 变化？

主要发现

• FTVA 框架在离散时间非齐次 bandit 问题中实现了 $O(1/\sqrt{N})$ 的最优性差距，且其同步假设（SA）严格弱于 UGAP，可覆盖 UGAP 失效的实例。
• 在连续时间设置下，FTVA-CT 变体在仅依赖标准通路性条件的前提下，实现了相同的 $O(1/\sqrt{N})$ 最优性差距，是首个无需 UGAP 的此类结果。
• 最优性差距被上界控制为 $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$，其中 $\overline{\tau}^{\text{sync}}_{\text{max}}$ 是所有臂类型和初始条件下最大期望同步时间。
• 该框架支持高效计算：策略可实现 $O(N)$ 的计算成本，并支持跨臂的分布式执行。
• 通过应用类型特定的最优单臂策略并采用加权平均聚合，该方法可扩展至异质性臂。
• 本工作解决了两个长期存在的开放问题：在无 UGAP 条件下的渐近最优性，以及在无非奇异假设下非平凡收敛速率的建立。

Figure 2 : Time evolution of the fraction of arms in each state under LP-Priority (upper), or after switching to $\textup{{FTVA}}({\bar{\pi}}^{*})$ (lower) since time slot $250$ . The x-axis represents the time slot, which ranges from $250$ to $289$ ; the y-axis represents the states; the color repr