[论文解读] Non-stationary Bandits with Knapsacks

Shang Liu, Jiashuo Jiang+1 more|arXiv (Cornell University)|May 25, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了一种新颖的非平稳带 bandits with knapsacks（BwK）框架，其中奖励和资源分布随时间变化，提出了一种新的全局变化预算度量以捕捉非平稳性。通过滑动窗口 UCB 算法建立了近似最优的遗憾边界，并将分析扩展到带约束的在线凸优化（OCOwC），表明传统的变化预算度量由于约束干扰而不足。

ABSTRACT

In this paper, we study the problem of bandits with knapsacks (BwK) in a non-stationary environment. The BwK problem generalizes the multi-arm bandit (MAB) problem to model the resource consumption associated with playing each arm. At each time, the decision maker/player chooses to play an arm, and s/he will receive a reward and consume certain amount of resource from each of the multiple resource types. The objective is to maximize the cumulative reward over a finite horizon subject to some knapsack constraints on the resources. Existing works study the BwK problem under either a stochastic or adversarial environment. Our paper considers a non-stationary environment which continuously interpolates between these two extremes. We first show that the traditional notion of variation budget is insufficient to characterize the non-stationarity of the BwK problem for a sublinear regret due to the presence of the constraints, and then we propose a new notion of global non-stationarity measure. We employ both non-stationarity measures to derive upper and lower bounds for the problem. Our results are based on a primal-dual analysis of the underlying linear programs and highlight the interplay between the constraints and the non-stationarity. Finally, we also extend the non-stationarity measure to the problem of online convex optimization with constraints and obtain new regret bounds accordingly.

研究动机与目标

• 解决在介于随机与对抗性设置之间的非平稳环境中，带 knapsacks（BwK）的带间问题中尚存的空白。
• 识别传统非平稳度量（如变化预算和变化点）在带约束 BwK 设置中的局限性。
• 提出一种新的全局变化预算度量，以捕捉非平稳性，同时考虑 knapsack 约束。
• 通过底层线性规划的对偶分析，推导出紧致的上界与下界遗憾边界。
• 将新的非平稳度量扩展至带约束的在线凸优化（OCOwC），并推导出新的遗憾边界。

提出的方法

• 提出一种新的非平稳度量，称为全局变化预算，用于量化 BwK 中随时间变化的奖励与资源分布。
• 采用基于滑动窗口的 UCB 算法处理具有约束感知探索能力的非平稳环境下的 BwK。
• 通过底层线性规划的对偶分析推导遗憾边界，将约束结构与非平稳性联系起来。
• 引入一种动态基准用于遗憾分析，其强度超过对抗性 BwK 中使用的静态基准，以反映随时间变化的最优策略。
• 通过将分析适配至凸目标与约束，将全局变化预算扩展至 OCOwC。
• 利用随机 Slater 条件与条件期望分解，保持对偶变量有界，并在随机扩展中实现 O(√T) 遗憾。

实验结果

研究问题

• RQ1 为何传统非平稳度量（如变化预算）在具有多个资源约束的 BwK 问题中不足？
• RQ2 能否定义一种新的非平稳度量，以捕捉 BwK 中约束与时变分布之间的相互作用？
• RQ3 在非平稳 BwK 中，可实现的最优遗憾是多少？能否被实际算法匹配？
• RQ4 约束的存在如何影响非平稳环境中带算法的设计与分析？
• RQ5 该新非平稳度量能否推广至更广泛的设置，如带约束的在线凸优化？

主要发现

• 由于 knapsack 约束对决策可行性的影响，传统变化预算是不足以在 BwK 中实现次线性遗憾的。
• 所提出的全局变化预算使基于滑动窗口 UCB 的 BwK 算法能够推导出近似最优的遗憾边界 O(√T)。
• 下界分析证实，所推导的遗憾边界在对数因子范围内是紧致的，从而在非平稳 BwK 设置中确立了最优性。
• 该新非平稳度量可自然地推广至带约束的在线凸优化（OCOwC），在相似条件下获得 O(√T) 遗憾边界。
• 在 OCOwC 的随机扩展中，虚拟队列算法在满足随机 Slater 条件下实现 O(√T) 遗憾与 O(d√T) 的约束违反。
• 分析表明，保持对偶变量有界与遗憾的关键在于：给定过去信息时，未来函数的条件独立性，从而实现期望分解。