[论文解读] On Kernelized Multi-Armed Bandits with Constraints

Xingyu Zhou, Bo Ji|arXiv (Cornell University)|Mar 29, 2022

Advanced Bandit Algorithms Research被引用 11

一句话总结

该论文提出了一种带有软约束的核化多臂赌博机的原始-对偶框架，可在如UCB和Thompson采样等一般探索策略下实现次线性遗憾和次线性或零约束违规。关键贡献在于提出了一种类统一分析的充分条件，可统一处理奖励遗憾与约束违规，通过RKHS函数建模在非线性、非凸设置下实现更精细的复杂度-遗憾-约束权衡。

ABSTRACT

We study a stochastic bandit problem with a general unknown reward function and a general unknown constraint function. Both functions can be non-linear (even non-convex) and are assumed to lie in a reproducing kernel Hilbert space (RKHS) with a bounded norm. This kernelized bandit setup strictly generalizes standard multi-armed bandits and linear bandits. In contrast to safety-type hard constraints studied in prior works, we consider soft constraints that may be violated in any round as long as the cumulative violations are small, which is motivated by various practical applications. Our ultimate goal is to study how to utilize the nature of soft constraints to attain a finer complexity-regret-constraint trade-off in the kernelized bandit setting. To this end, leveraging primal-dual optimization, we propose a general framework for both algorithm design and performance analysis. This framework builds upon a novel sufficient condition, which not only is satisfied under general exploration strategies, including \emph{upper confidence bound} (UCB), \emph{Thompson sampling} (TS), and new ones based on \emph{random exploration}, but also enables a unified analysis for showing both sublinear regret and sublinear or even zero constraint violation. We demonstrate the superior performance of our proposed algorithms via numerical experiments based on both synthetic and real-world datasets. Along the way, we also make the first detailed comparison between two popular methods for analyzing constrained bandits and Markov decision processes (MDPs) by discussing the key difference and some subtleties in the analysis, which could be of independent interest to the communities.

研究动机与目标

• 为解决受限核化赌博机中的空白，通过允许可控累积违规的软约束，替代硬性安全约束。
• 开发一种统一的算法与分析框架，支持核化赌博机问题中未知非线性奖励与约束函数的通用探索策略，包括UCB和Thompson采样。
• 通过利用软约束的特性，实现更精细的复杂度-遗憾-约束权衡，使性能更接近无约束赌博机，同时保持约束合规。
• 首次对约束赌博机与约束MDP的两种主要分析方法进行详细比较，突出理论处理中的关键差异与细微之处。

提出的方法

• 该框架基于原始-对偶优化构建，采用一种新颖的充分条件，确保在一般探索策略下实现次线性遗憾与约束违规。
• 在再生核希尔伯特空间（RKHS）中对奖励函数与约束函数进行建模，且其范数有界，从而实现非线性与非凸函数逼近。
• 算法基于后验方差（如 $\sigma_{t-1}(x_t)$）使用置信区间，并通过对偶变量引入松弛项以管理约束违规。
• 采用上鞅论证方法，利用增量有界的Azuma-Hoeffding不等式，对累积约束违规进行上界控制。
• 分析中引入基于阈值的指示函数 $\mathcal{I}\{E^{est}\}$ 以控制估计误差，确保遗憾与违规的高概率上界。
• 通过满足该充分条件，该框架支持UCB与Thompson采样，从而实现对多种探索策略的统一性能分析。

实验结果

研究问题

• RQ1 在软约束下，核化赌博机是否能实现比硬约束更精细的复杂度-遗憾-约束权衡？
• RQ2 能否为受限核化赌博机设计出在UCB之外的通用探索策略下的可证明高效算法？
• RQ3 软约束如何在非线性、非凸设置下实现次线性遗憾，同时达到次线性甚至零约束违规？
• RQ4 分析受限赌博机与受限MDP时，关键差异与细微之处是什么，它们如何影响理论保证？
• RQ5 所提出的原始-对偶框架能否统一分析UCB与Thompson采样等多样化探索策略在受限核化赌博机中的表现？

主要发现

• 所提出的框架在带有软约束的核化赌博机中，对UCB与Thompson采样两种探索策略均实现了次线性遗憾与次线性约束违规。
• 通过在对偶变量更新中引入松弛项，该框架实现了零或有界的约束违规，同时保持次线性遗憾。
• 理论分析表明，累积约束违规被上界控制为 $O\left(\frac{1}{p_4} c_f(T)\sqrt{T\gamma_T} + \frac{1}{p_4} \rho c_g(T)\sqrt{T\widetilde{\gamma}_T} + \frac{(c_f(T) + \rho c_g(T))\kappa}{p_4}\sqrt{2T\ln(1/\delta)}\right)$，其中 $\kappa = 4B + 4\rho G$。
• 该框架首次实现了对受限核化赌博机中UCB与Thompson采样统一的分析，其基础是探索策略的一个新颖充分条件。
• 在合成数据集与真实世界数据集上的数值实验验证了其相比现有方法的优越经验性能。
• 该论文首次对约束赌博机与MDP的两种主流分析技术进行了详细比较，揭示了在处理估计误差与约束传播方面细微但关键的差异。