[论文解读] Restless Bandits with Many Arms: Beating the Central Limit Theorem

Xiangyu Zhang, Peter I. Frazier|arXiv (Cornell University)|Jul 25, 2021

Advanced Bandit Algorithms Research参考文献 37被引用 9

一句话总结

该论文为具有大量手臂的 restless bandits 提出了 fluid-priority 策略，在非退化条件下证明了其最优性差距为 O(1)，优于由中心极限定理隐含的经典的 O(√N) 边界。该方法利用 fluid 和扩散尺度极限，为大规模马尔可夫决策过程中的广泛类指数策略建立了更紧的收敛速率。

ABSTRACT

We consider finite-horizon restless bandits with multiple pulls per period, which play an important role in recommender systems, active learning, revenue management, and many other areas. While an optimal policy can be computed, in principle, using dynamic programming, the computation required scales exponentially in the number of arms $N$. Thus, there is substantial value in understanding the performance of index policies and other policies that can be computed efficiently for large $N$. We study the growth of the optimality gap, i.e., the loss in expected performance compared to an optimal policy, for such policies in a classical asymptotic regime proposed by Whittle in which $N$ grows while holding constant the fraction of arms that can be pulled per period. Intuition from the Central Limit Theorem and the tightest previous theoretical bounds suggest that this optimality gap should grow like $O(\sqrt{N})$. Surprisingly, we show that it is possible to outperform this bound. We characterize a non-degeneracy condition and a wide class of novel practically-computable policies, called fluid-priority policies, in which the optimality gap is $O(1)$. These include most widely-used index policies. When this non-degeneracy condition does not hold, we show that fluid-priority policies nevertheless have an optimality gap that is $O(\sqrt{N})$, significantly generalizing the class of policies for which convergence rates are known. We demonstrate that fluid-priority policies offer state-of-the-art performance on a collection of restless bandit problems in numerical experiments.

研究动机与目标

• 解决模拟结果中显示最优性差距为常数与理论边界表明在大规模 restless bandit 问题中 O(√N) 增长之间的差距。
• 在手臂数 N 增大且预算按比例增长的渐近情形下，建立一个分析指数策略性能的一般框架。
• 刻画一种非退化条件，在该条件下 fluid-priority 策略可实现 O(1) 的最优性差距，显著优于先前的 O(√N) 边界。
• 将理论分析扩展至涵盖广泛的实际可计算策略，包括大多数广泛使用的指数策略。
• 在多种 restless bandit 问题的数值实验中，证明 fluid-priority 策略实现了最先进的性能。

提出的方法

• 引入 fluid-priority 策略作为一类广义策略，其概括了现有指数策略的关键特征，包括 Brown 等人（2020）和 Hu 与 Frazier（2017）提出的策略。
• 定义 fluid 一致性：当 N → ∞ 时，策略的归一化状态和动作计数几乎必然收敛到 fluid 极限 z_t 和 x_t。
• 证明 fluid 一致性意味着 o(N) 的最优性差距，这是迈向更紧边界的基础步骤。
• 引入扩散正则性概念：策略诱导的映射必须是利普希茨连续的，零点有界，且在 N → ∞ 时收敛。
• 证明扩散正则性意味着扩散尺度统计量 (Z̃_t^N, X̃_t^N) 的二阶矩一致有界，并且其分布收敛。
• 利用扩散尺度偏差的有界性，证明即使在弱于先前工作的条件下，最优值与策略值之间的差距仍为 O(√N)。

实验结果

研究问题

• RQ1 在某些条件下，restless bandits 的经典 O(√N) 最优性差距边界是否可以得到改进？
• RQ2 在大量手臂的渐近情形下，哪类策略可实现 O(1) 的最优性差距？需要满足什么条件？
• RQ3 如何利用 fluid 和扩散尺度极限来分析大规模 restless bandit 问题中指数策略的收敛速率？
• RQ4 现有指数策略（如 Brown 等人 2020，Hu 与 Frazier 2017）在多大程度上满足新框架下的正则性条件，以实现更紧的性能边界？
• RQ5 是否存在一种非退化条件，使得 fluid-priority 策略在任意 N 下均能实现常数最优性差距？

主要发现

• 在非退化条件下，fluid-priority 策略实现了 O(1) 的最优性差距，这严格优于由中心极限定理隐含的 O(√N) 边界。
• 策略的 fluid 一致性意味着 o(N) 的最优性差距，这是一个适用于广泛策略类的一般性结果。
• 扩散正则性——强于 fluid 一致性的一个条件——保证了 O(√N) 的最优性差距，将先前结果推广至更广泛的策略类。
• 所提出的 Brown 等人（2020）和 Hu 与 Frazier（2017）的策略被证明是扩散正则的，通过新框架确认了其 O(√N) 的最优性差距。
• 数值实验表明，fluid-priority 策略在一系列 restless bandit 问题上实现了最先进的性能。
• 该理论框架为证明比以往可能更紧的边界提供了路径，尤其在 CLT 直觉失效时更具优势。